新知 | 腾讯明眸·极速高清 —— 更高清更低码率的媒体处理技术方案

今天的新知系列课，我们邀请到了来自腾讯明眸·极速高清团队的技术导师 —— 刘兆瑞，为大家介绍腾讯云音视频在视频编码优化以及工程落地上的一些新的方向。本次分享分为4个部分，包括当前媒体处理的行业趋势 ，腾讯明眸产品介绍，腾讯明眸·极速高清技术方案及其优化演进之路以及极速高清方案的未来发展之路。

本周五晚上7：30，我们将会在腾讯云音视频视频号、开源中国、InfoQ、51CTO、云+社区等多个平台进行第六期课程的直播，大家千万不要错过哦~

- 当前媒体处理的行业趋势 -

腾讯视频云作为头部云厂商，服务了很多视频行业的客户，从我们服务的大量客户以及客户的诉求来看，目前视频处理行业有下面几个趋势：

• 首先，随着带宽资费的降低以及观看设备分辨率的升高，人们对视频的清晰度有了越来越高的要求，尤其是广电行业、大屏电视等对于4K片源的需求。然而，从视频制作端来看，目前大部分生产的视频还是1080P。因此，画质增强、视频超分等基于AI的画质提升技术受到人们更多的关注。
• 除此之外，近年来视频行业的高速发展，尤其是直播、短视频的兴起，越来越多的互联网公司开始发展自己的视频业务。对于海量的视频观看来说，存储和带宽成为业务运营的重要成本组成部分。与此同时，视频观看的流畅度，首帧打开时间也是影响用户观看体验的重要因素之一。能够高清晰度低码率的编码视频，就成为泛互联网企业的诉求之一。
• 从未来的发展趋势看，云宇宙/VR慢慢兴起，而这些无疑都需要超高清的视频传输，而高清低码、极致压缩、画质增强等相关技术，可以极大的降低传输带宽瓶颈，提升视频观看体验，也一定是未来的发展趋势之一。

也是在上述客户的诉求背景下，我们提出腾讯明眸解决方案。

- 腾讯明眸解决方案 -

腾讯明眸的基础能力主要由三部分组成，其中极速高清提供极致的压缩能力，支持感知编码、细节增强、视频去噪等能力。画质重生则专注于视频画质的提升，支持视频超分、智能插帧、色彩增强等能力。腾讯明眸除了视频处理之外，也与腾讯天籁实验室相合作，支持音频降噪、去混响、响度管理等能力。全力支持视频业务的快速发展。

腾讯明眸的整体处理pipeline也与普通媒体处理的流程有较大的区别，在视频解码后，我们会先进行场景分析、毛刺检测、噪声检测、交错检测等预分析流程，来分析视频源的画面质量，然后针对不同的场景和画面质量情况，使用对应的画质增强/修复技术。在对视频源进行修复之后，腾讯明眸会对画面进行二次分析，来辅助后续的视频编码流程，这里会分析视频的ROI/JND信息，内容自适应编码信息等，最后利用这些信息来进行更符合人眼主观的编码流程，在编码过程中，我们也对编码内核进行了深入的优化，在腾讯内部多个部门通力合作下，自研了O264/V265/TXAV1/O266等编码器，相比开源编码器极大的提升了视频压缩率。

- 腾讯明眸·极速高清的技术演进 -

首先介绍下什么是极速高清，极速高清的目的是在不降低或者提升人眼感官的前提下，尽可能的降低视频码率，节省带宽和存储。极速高清也是基于腾讯明眸的框架来实现的，包括：视频预分析、前置处理、视频自适应编码等几步，与普通转码相比，可以降低50%以上的带宽，也能在一定程度上提升人眼的主观感受。

在编码器内核方面，腾讯敏敏·极速高清引入了很多领先的技术。2021年的MUS云端编码大赛上，腾讯明眸取得了多项第一的成绩，尤其在视频编码质量评测上，相比第二名有20%的编码增益。除此之外，在H.266/VVC等下一代编码器上，我们也拥有100项以上的专利。

极速高清所取得的压缩效果经历了多个版本的迭代优化过程。极速高清的初始研发时，我们更专注于如何利用好当前的编码器和画质处理能力。我们发现，人眼对不同场景的感受是不同的，比如：在一些游戏中有很多的草地，这个时候通过编码参数的控制，减少纹理复杂区域的码率，虽然会在纹理区域产生振铃效应和毛刺，但是由于复杂纹理的遮挡效应，人眼并不能感知到。我们针对不同场景的视频，分析当前画面的特征，合理的利用视频编码的特性，可以在更低的码率下，同时保持人眼的感官。

随着业务的持续迭代与发展，我们发现开源的编码器虽然在业界有比较好的效果，但是很难完全满足实际业务的需求，而且开源编码器在实现上也未将标准的所有特性实现，没有发挥出标准能够达到的极限压缩。因此，极速高清的第二阶段优化我们集中在对编码器内核的算法调优。自研的O264编码器相较开源的X264可以有20%以上的编码增益，V265相较开源的X265可以有40%的编码增益。

那这里以我们新增支持的GPB帧为例，我们知道B帧的宏块可以有两个mv来进行参考，提升压缩效果，但是B帧因为参考关系的原因，会增加编码的延迟。因此，虽然B帧能够提供较好的压缩率，但是低延迟直播/RTC等场景通常还是会关闭B帧。那有没有办法同时利用B帧标准上支持的两个mv, 同时还能在这样的场景下保证低延迟？为此，我们在编码内核上支持了GPB帧，即：该帧虽然标准上标注为B帧，宏块可以有两个mv， 但是两个mv都只做前向参考，不会进行后向参考，因此不会引入额外的延迟，同时利用了多个mv的特性提升压缩率。

在对编码器内核进行深入的优化后，随着业务的发展，我们又面临了新的挑战。在一些极限压缩的场景，客户希望720P 的带货视频，可以以350kbps以下的码率输出，同时保证视频整体的清晰度。这个时候，我们发现仅靠编码器的压缩很难达到理想的效果。之后我们开始思考编码器的不足之处以及如何进一步优化编码器的特性。

首先，我们处理的视频源是被压缩过的， 因此一定已经存在一些细微的毛刺毛边。而我们在二次压缩时候，编码器是无法区分这些毛刺/毛边是真实的纹理还是一些噪声数据，会对这些毛边也进行压缩，而这类毛边的压缩会消耗编码中大量的码率。

其次，编码器核心还是基于数据驱动的，并没有从人眼的角度来考虑问题，因此当码率极低的时候，编码出来的画面可能会有很多的块效应，同时一些细节地方又保留的比较好。

针对上面的两种情况，腾讯明眸·极速高清结合AI的能力，在编码对前视频源进行前置处理，使视频源更适配编码场景。其中，前置处理基于预训练的模型，抹平消除视频源附带的毛边细节，使整体的边缘更加平滑，也更有利于视频压缩。其次，当编码设置的码率很低时，这时模型预估压缩后的视频，会产生码率不足导致的块效应和大量噪声。我们可以使用前处理预先对一些复杂纹理进行简化，对视频进行一定程度的平滑，从人眼主观的角度来简化视频，进而使视频更容易压缩，在低码率下也能保持一个良好的效果。

使用极速高清后，带来的收益十分明显。以腾讯内部的业务为例，使用极速高清后，节省了大概70%的存储和带宽成本，同时由于文件的减小，视频首帧的耗时也降低了20%，整体播放的流畅度大大提升。

对于点播场景的极限压缩，1080P的高清电影视频，极速高清H.264可以在1.5M的码率下，保持整体的主观清晰度，或者说保持vmaf在95分以上。H.265则可以在900kbps达到同样的效果，AV1甚至做到650kbps。对于课堂教育类场景，压缩效果则更明显，课堂类场景相对静止画面较多，可以利用更多的编码工具。对于PPT类课堂场景，极速高清H.264可以在67kbps下，同时保持主观清晰度，H.265可以做到35kbps, AV1可以做到28kps, 此时，视频的码率大部分已经低于音频的码率，极大的减少了视频的存储和带宽。

腾讯明眸的另一特性，就是充分利用腾讯云在全世界的海量资源部署，服务全球。在各个地区都有对应的处理集群，符合区域的法律法规要求。助力国内企业更好的出海发展。

目前，腾讯明眸的接入也非常方便。其中MPS媒体处理服务，可以触发视频转码，在转码模板的配置上，可以选择极速高清来进行极致的视频压缩。专门针对画质提升的画质修复能力，则可以通过智能编辑产品来体验，包括：视频超分、智能插帧、色彩增强、视频加清等画质提升能力，提供更清晰的视频体验。

- 极速高清未来的发展方向 -

对于腾讯明眸来说，极速高清后续发展主要两个主轴，一方面是与AI能力的进一步深入结合，在前处理阶段利用AI进一步处理视频画质来辅助压缩，在编码器内部，利用AI的能力对RDO分析预测加速，在播放端，致力于LCEVC的支持，以及端测的超分和画质提升。另一方面是针对直播场景的深入优化，目前很多编码工具的复杂度较高，对于直播场景很难保证实时， 对于这些编码工具进一步优化与加速，更好的应用于直播场景。

关于新知

随着行业数字化转型加速，线上线下一体化、数字技术与真实世界融合的全真互联时代正加速到来。腾讯云音视频技术导师将在新知栏目中分享在全真互联时代下新的行业趋势、新的技术方向以及新的应用场景与大家共同探索视界，创见未来！

点击文末「阅读原文」可以前往云+社区，查看往期完整内容。

腾讯云音视频在音视频领域已有超过21年的技术积累，持续支持国内90%的音视频客户实现云上创新，独家具备 RT-ONE™ 全球网络，在此基础上，构建了业界最完整的 PaaS 产品家族，并通过腾讯云视立方 RT-Cube™ 提供All in One 的终端SDK，助力客户一键获取众多腾讯云音视频能力。腾讯云音视频为全真互联时代，提供坚实的数字化助力。