快捷搜索:  www.ymwears.cn

腾讯多媒体实验室开源视频质量评估算法DVQA

近日,腾讯多媒体实验室设计的基于深度进修的全参考视频质量评估算法DVQA在Github上正式开源,该算法模型的机能今朝在公开测试数据集上取得业界领先成就。

视听期间,音视频利用越来越广泛:直播、短视频、视频节目、音视频通话……近期因为新冠疫情带来的在线协同办公、在线教导类产品的崛起,更带来了线上音视频需求的爆发,用户对音视频质量诉求也愈加强烈。

在全部视频链路中,大年夜部分模块都可以正确度量,如采集、上传、预处置惩罚、转码、分发等。然而未知的部分却恰好是最关键的部分,即用户的视频不雅看体验到底怎么样。今朝行业内的视频质量评估措施分为两大年夜类:客不雅质量评估与主不雅质量评估。前者谋略视频的质量分数,又根据是否应用高清视频做参考、源视频是专业视频照样用户原创视频等进一步细分;后者主要依附人眼不雅看并打分,能够直不雅反应不雅众对视频质量的感想熏染。然而,这些措施仍存在耗时辛勤、资源较高、主不雅不雅感存在误差等难题。

多媒体实验室提出的视频质量评估办理规划,首先结合营业需求,应用“在线主不雅质量评测平台”,来构建大年夜规模主不雅质量数据库,同时应用所网络的主不雅数据来练习基于深度进修的客不雅质量评估算法,着末把练习好的质量评估算法支配到营业线中,闭环监控可能存在的质量问题。从以上三个角度启程,DVQA能够在兼顾不合营业、场景的条件下,满意效率与精度两大年夜需求。

DVQA包孕多个质量评估算法模型,本次开源的是针对PGC视频的算法C3DVQA。本项目应用Python开拓,深度进修模块应用PyTorch。代码应用模块化设计,方便集成较新的深度进修技巧,机动的自定义模型,练习和测试新的数据集。

在算法设计上,C3DVQA所应用的收集布局如下图所示。其输入为损伤视频和残差视频。收集包孕两层二维卷积来逐帧提取空域特性。级联后应用四层三维卷积层来进修时空联合特性。三维卷积输出描述了视频的时空掩饰笼罩效应,再应用它来模拟人眼对视频残差的感知环境:掩饰笼罩效应弱的地方,残差更轻易被感知;掩饰笼罩效应强的地方,繁杂的背景更能掩饰笼罩画面掉真。

收集着末是池化层和全连接层。池化层的输入为残差帧经掩饰笼罩效应处置惩罚后的结果,它代表了人眼可感知残差。全连接层进修整体感知质量和目标质量分数区间的非线性回归关系。

在评测结果上,腾讯多媒体实验室在LIVE和CSIQ两个视频质量数据集上对所提出算法的机能进行验证。并应用标准的PLCC和SROCC作为质量准则来对照不合算法的机能。将所提出的C3DVQA与常用的全参考质量评估算法进行比较,包括PSNR,MOVIE,ST-MAD,VMAF和DeepVQA,结果如下表所示。

LIVE和CSIQ两个数据库上不合全参考算法机能对照

今朝该评估算法已在腾讯内外部多款产品中进行应用验证,如腾讯会议就借助实验室上百个相符ITU/3GPP/AVS等国外内标准的指标进行评判,闭环监控全网的用户体验质量,从用户真实体验启程,赓续优化产品机能。

作为最早结构音视频领域的公司之一,从最早的QQ平台,腾讯就试图办理在昔时收集前提下多少的音视频通信问题。伴跟着5G、云谋略、大年夜数据、人工智能技巧的成长,腾讯多媒体实验室基于多年的技巧沉淀和行业履历,慢慢打磨出一条完善且高质量的音视频技巧链条。

责任编辑:倪颖

您可能还会对下面的文章感兴趣: