腾讯多媒体实验室:以提升用户体验为目的,构建音视频质量评估体系

11月6日至7日,首届Techo开发者大会在北京召开,在音视频及通信分论坛上,腾讯多媒体实验室专家研究员王海强发表了题为《视频业务中的主客观质量评估》的演讲,在当前音视频发展风口下,介绍了视频质量评估的主客观方法、应用场景,并提出了建立在算法基础上的主客观视频质量评测平台及其在业务线中的应用。

Techo开发者大会是由腾讯云发起的面向全球开发者和技术爱好者的年度盛会,作为一个专注于前沿技术研讨的非商业大会,大会致力于开发者的能力成长和实践创新,旨在通过汇聚全球顶尖行业专家和技术爱好者,搭建一个开放、中立、活跃的技术交流平台。本届Techo大会邀请了海内外150位行业专家围绕前沿技术发展进行解读,聚集了5000名开发者参与技术交流和探讨。

(腾讯多媒体实验室专家研究员 王海强)

质量评估应侧重“人眼感知”质量

视听时代,音视频应用越来越广泛:直播、短视频,视频节目、音视频通话……在万物诉诸音视频的互联网时代,用户对音视频质量诉求也愈加强烈。为提高音画质量,基础性工程便是建立行业评估体系,用评测标准对音视频技术和产品进行“打分”。然而,目前音视频质量评估领域仍存在门槛成本较高、主观观感存在偏差等难题。

王海强在演讲中介绍了主客观质量评估方法,普及了两者在PGC/UGC业务中的应用,并针对评估标准这一终极准则问题,介绍了多媒体实验室的自研算法和解决方案。

据王海强介绍,目前视频质量评估方法分为两大类:客观质量评估与主观质量评估。前者计算视频的质量分数,又根据是否使用高清视频做参考、视频质量是否与失真程度成单调关系等进一步细分;后者依赖人眼观看并打分,能够直观反映观众对视频质量的感受。

目前,视频质量评测标准并不统一,常规做法是使用开源模型VMAF来做PGC视频的质量把控,而对UGC视频,只能依赖于开发人员观看视频来定位、解决质量问题。王海强认为,视频质量评估的目标是“致力于评估视频的人眼感知质量”,即通过通用的、准确的、公平的测试能力与测试方法论,尽可能选择最可靠的技术方案,以客观与主观评测相结合的方式,达到最接近人眼感知的质量效果。

然而,主观测试极其耗费人力和时间,整体效率较低,把所有质量问题都诉诸于主观测试是不现实的。与其完全追求主观测试的完美性,不如以“主观质量”为目的,通过基于深度学习的客观音视频质量评估算法,进行端到端的音视频质量评估,从而逼近人眼观看的体验效果。

对此,王海强介绍了多媒体实验室的质量评估解决方案:一是结合业务需求,使用“在线主观质量评测平台”,来构建大规模主观质量数据库;二是使用所收集的主观数据来训练基于深度学习的客观质量评估算法;三是部署训练好的质量评估算法到业务线中,闭环监控可能存在的质量问题。从以上三角度出发,音视频质量评估能够在兼顾不同业务、场景的前提下,满足效率与精度两大需求。

腾讯多媒体实验室:以用户体验为最终目的

王海强所介绍的“在线主观质量评测平台”,便是腾讯多媒体实验室在音视频评估领域的落地产品——腾讯多媒体实验室视频质量评测平台。目前,这一平台不仅能够完成基于人眼的视频质量评测,模拟人耳的音频质量评测,还能够在音频的声学指标、网络指标及物理环境下对信号的主观质量进行全面详细的评估,适应了不同环境下的差异化测评场景。

同时,多媒体实验室开发了基于深度学习的全参考/无参考质量评估算法。依托主观测试平台快速构建大规模视频数据库的能力,多媒体实验室收集了数百万次的视频质量打分,训练了基于深度学习的全参考和无参考质量评估算法。两个算法在公开数据集上均取得了领先业界的性能。王海强提到多媒体实验室会在近期内把算法开源,进一步促进行业的发展。

除满足单个评估需求外,视频质量评估还将在业务线中进一步发挥作用。王海强认为,在业务线中引入视频质量评估后,将改变以往被动发现质量问题、进行人工检查的状况,变被动为主动,变人工为智能,利用AI进行预防性质量监控,并通过算法迭代不断实现系统优化,同时,评估系统的优化又会进一步反哺业务线的优化。

在当前音视迎来发展风口之时,腾讯多媒体实验室不仅使非专业团队能够快速、准确的完成评估需求,还通过一系列尝试,推动了音视频质量评测标准的讨论。近50项提案被下一代视频编码标准VVC/H.266采纳。此外,在虚拟现实(VR)、点云(PCC)、网络传输协议 (DASH)、多媒体系统(OMAF、CMAF、NBMP)等相关多媒体标准中也取得了突破性进展,获得多项标准核心专利,多名团队成员在多个全球标准组织担任董事、编辑、领域主席等重要席位。与此同时,多媒体实验室也大力投入国家自主标准建设,针对国家标准AVS3进行了相关布局,成为国际行业标准不可忽视的影响者和领导者。

未来,腾讯多媒体实验室也将投入更多技术与实践,带头制定行业规则,不断提升用户视听体验。

本文分享自微信公众号 - 腾讯音视频实验室(TencentAVLab)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SAMshare

一文介绍机器学习模型调优的“解题思路“

之前讲了一些机器学习的算法和特征工程的东西,相信大家如果有一些数据也是可以建立出自己的模型了,但是,模型的效果却没有想象中那么好,那么,应该怎么做呢?

6220
来自专栏新智元

LeCun:放弃深度学习吧,AI的未来是能量学习

10 月 18 日,2019 中关村论坛平行论坛 ——AI WORLD 2019 世界人工智能峰会在北京启幕。新智元杨静、科大讯飞胡郁、微软王永东、华为王成录、...

19110
来自专栏相约机器人

视频架构搜索

Video 机器人技术研究人员Michael S. Ryoo和学生研究员AJ Piergiovanni发布。了解视频是一个具有挑战性的问题。由于视频包含时空数据...

13710
来自专栏机器之心

AI眼中的世界是什么样子?谷歌新研究找到了机器的视觉概念

随着机器学习模型广泛用于制定重要决策,可解释性成为研究领域的重要主题。目前大多数解释方法通过特征重要性得分来提供解释,即识别每个输入中重要的特征。然而,如何系统...

9710
来自专栏小七的各种胡思乱想

Paper慢慢读 - Recursive Partitioning for Heterogeneous Casual Effects

这篇是treatment effect估计相关的论文系列第一篇所以会啰嗦一点多给出点背景。

11620
来自专栏机器之心

八千字长文深度解读,迁移学习在强化学习中的应用及最新进展

机器学习技术在许多领域取得了重大成功,但是,许多机器学习方法只有在训练数据和测试数据在相同的特征空间中或具有相同分布的假设下才能很好地发挥作用。当分布发生变化时...

13910
来自专栏ATYUN订阅号

脸上起痘不要慌,人工智能来帮忙

人工智能已经在医疗行业的诸多领域开始发挥作用,比如眼科,内科等,并且取得了巨大成果。自2016年以来,已经有不少关于AI在皮肤科学的应用研究开展。

8410
来自专栏机器之心

AI当自强:独家揭秘旷视自研人工智能算法平台Brain++

如果说算法模型是果实,那么开发它的环境和框架就是培育果树的土壤。尽管平时在开发中,框架和底层环境没有那么引人瞩目,但没有这些底层技术的支持,优秀的思路和创意也就...

11820
来自专栏深度学习和计算机视觉

综述行人检测算法

行人检测( Pedestrian Detection)一直是计算机视觉研究中的热点和难点。行人检测要解决的问题是:找出图像或视频帧中所有的行人,包括位置和大小,...

18830
来自专栏AI掘金志

南方科技大学唐晓颖:如何利用粗略标注的图像自动检测眼底病变?

对于医学的任务而言,最重要的因素就是Big Data,而且是Big Good Data,数据的质量控制是非常重要的。唐晓颖团队的一个重要工作就是研究用自动化的方...

11120

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励