聚焦LiveVideoStackCon2019丨刘杉：“以视频编解码标准的历史看未来”

腾讯音视频实验室杰出科学家刘杉博士以大会联席主席身份，一席“以视频编解码标准的历史看未来”的演讲揭开了“LiveVideoStackCon2019”盛会的序幕，接着借由一系列的专题演讲，涵盖视频处理及AI修复增强，图像与屏幕内容编码技术，以及人眼视觉无参考视频质量评估等，实验室公开分享了多项先进视频编解码与人眼视觉技术完美结合的进展与成果，同时也勾勒出新世代多媒体以AI+音视频为主轴的蓝图，期待未来产学界多媒体菁英们的共襄盛举。

腾讯集团 副总经理，杰出科学家 刘杉

从视频编解码标准的历史看未来

4月19日上午，刘杉博士做了题为“从视频编解码标准的历史看未来”的主题演讲。她首先从视频压缩的必要性以及视频编码的主要技术模块等方面对编解码技术的发展历史进行了简要回顾。

视频编码标准方面，刘杉博士介绍了视频编码标准的发展历史，全面回顾了H.264以及H.265的基本技术，然后重点介绍了H.266/VVC编码的关键技术并和HEVC做了对比，相比HEVC，VVC有31%的码率节省，解码复杂度则是HEVC的1.5倍；展望未来,视频编解码标准引入AI神经网络正走在标准制定的前沿,无论在环内滤波以及块划分结构均展现巨大的压缩潜力。腾讯音视频实验室在VVC标准制定上也深度参与,是标准提议的主要参与及贡献者之一。

主题演讲最后，刘杉博士给大家分享了一些音视频实验室在音视频技术研究方面的成果。比如视频处理转码平台丽影、TPG图像压缩以及屏幕内容编码技术，音频处理、变声、降噪、分离以及3D音效，AI流控，视频质量评估等技术。

人眼视觉无参考质量评估

音视频实验室自2018年12月重磅推出腾讯丽影以来,以人眼视觉为标准的新世代视频服务理念广受重视,短短数月内即大量上线支持腾讯微视,全民K歌, Now直播,企鹅电竞等产品,更小更漂亮的视频大幅提升了用户的观看体验。

这次大会中,实验室更进一步分享了无参考质量评估体系,为人眼视觉提供了客观的评价指标,在线上产品监控及线下演算法开发皆提供了人眼视觉的自动化改进闭环生态,是腾讯丽影的关键技术之一。

腾讯丽影负责人 高孟平博士 无参考质量评估专题演讲

无参考质量评估流程图

透过RankIQA的基础框架,突破标注资料短缺的限制,并在训练集设计中引入增强及退化等双向单调变化数据,有效学习出常见的视频增强Concave曲线中的最佳值,例如最佳锐化强度等,更进一步透过改善的混合rank loss及regression,增加了MOS标注资料的利用效率,最后使用全卷积网络避免随机取块的权重估计及随机性,腾讯丽影的无参考质量评估,在Live及TID2013测试集中最终拿到0.9693/0.9544及0.9646/0.9550的 PLCC/SRCC 高分。

无参考质量评估在许多无法取得参考信息的实际系统中应用广泛且重要, 细粒度的评估更可以进一步闭环指导视频增强演算法的适配, 达到最佳的人眼视觉喜好效果.面向以人眼视觉为标准, 从事图像或视频增强的演算法工程师们, 希望可以从中激发新的想法, 并一起推动无参考质量评估在人眼视觉的更多应用。

视频处理关键技术选择及优化

单一的视频处理技术往往难以彻底解决某种场景的所有问题，它通常只在某种边界条件下才能达到最佳效果。因此，理解各项技术的边界条件，熟悉其适用场景，有助于我们实现多种技术的最优组合，从而发挥每项单一技术的最大价值，使业务获得1+1+1>3的收益。

多样且交互的视频处理工具箱

透过系统化的流程步骤,1)基本分析,2)视频源分析,3)选择关键技术及最优组合,4) 各技术的最优组合,在多样且交互的视频处理工具箱中选择合适的子集及使用方式,是视频处理工程师的价值所在。

图像与屏幕内容编码技术

TPG是腾讯音视频实验室对外推出的一种图片压缩格式，其压缩效率相对于JPEG高47%，对于gif图像可以节省85%以上的流量，目前TPG已经在公司内外得到了广泛应用。本次大会上，实验室视频编码技术负责人王诗涛分享了TPG的研发历程以及在公司内外业务应用的情况，最后介绍了TPG的标准化之路。

视频编码技术负责人 王诗涛

屏幕内容图像和传统的摄像头采集图像具有很多不同特征，针对屏幕内容图像，HEVC推出了SCC编码技术，本次大会上王诗涛还分享了音视频实验室在屏幕内容编码这块的研究。音视频实验室自研了专门针对屏幕内容图像的屏幕内容编码器TSE，TSE在原有编码工具的基础上增加了帧内块复制（Intra Block Copy）和调色板模式编码（Palette Mode）技术，同时做了大量的性能优化。优化后，对于屏幕内容图像，TSE压缩效率相比x265 ultrafast高70%以上，同时编码速度比x265 ultrafast快近1倍。目前，TSE已经在腾讯无线投屏和会议中上线应用。

———— / END / ————