视频编码标准和FB的提升工作

本文来自Video Scale 2020，演讲者是来自Facebook的研究科学家Ioannis Katsavounidis。演讲题目是视频编码标准和FB的提升工作。演讲分为如下几个部分。

视频编码标准概况

演讲者简要介绍了视频编码标准的发展历史。最早出现的视频编解码标准是MPEG/ITU-T制定的MPEG-1。该组织相继制定了H264, HEVC和VVC等视频编解码码标准。Google于2008年提出自行设计的VP8标准，然后又提出了VP9和AV1标准。

视频编码标准化流程

首先选择用于测试的视频片段数据集，理想的视频片段可以捕获具有代表性的编码材料。接着定义测试的配置环境集，比如设置固定QP、低延迟模式和选择PSNR作为质量评价指标等。下一步建立包括编码器和解码器的参考软件代码库。例如HEVC编解码标准对应的代码库是HM，VVC则是VTM。接着是研究人员向参考代码库中加入新的编码工具，并且计算平均质量提升（BD-PSNR）和比特率节省(BD-RATE)指标。根据多个竞争方案的编码效率和解码复杂度提升对竞争方案进行排名，最好的工具将被引入到代码库中。最后当改进达到目标水平时，该流程结束并起草一个新的标准。

视频质量指标和自适应流状况

PSNR是一个简单的指标，但是和人类视觉感知质量的相关性不强。其他评价指标包括SSIM和VMAF。这些质量评价指标与人眼感知质量相关性由强到弱分别是：VMAF>SSIM>PSNR。

固定分辨率，固定GOP和固定QP编码在线性DTV和DVD中应用广泛。而新的现实情况是内容优化编码、可变GOP编码、多分辨率视频编码、凸包编码和固定质量（CRF）模式。

演讲者提出了一个动态优化框架。输入的视频帧经过下采样再进行编码，对解码图像进行上采样恢复。根据编解码前后图像计算VMAF和PSNR。在编码过程中收集码率和失真数据并绘制RD曲线图。对比动态优化和固定QP模式，动态优化的码率节省在20%-40%之间，取决于编码器和评价指标。

计算复杂度

在视频编码早期，软件编码复杂度一直是次要的问题。摩尔定律使得在通用CPU上进行软件编码成为可能。目前应用广泛的AVC编码器是x264。演讲者展示了一张BD-RATE和编码复杂度的权衡图。编码器所用的编码时间越长，那么节省的码率就越多。比如编码时间：AV1>VP9>x264，而码率节省则反过来。

如何提升

首先，在标准化中使用更多的视频测试序列。包括更多用户生成内容，不仅是原始的专业拍摄的视频。采用更多实际的编码环境评估编码性能。第二，对每个视频采用多分辨率编码，选择内容自适应QP值等。第三，采用更多感知视频质量指标用于量化性能，比如基于SSIM和VMAF。发展新的质量指标更好地服务于编码标准。最后，在新的视频编码工具中解决软件编码复杂度的问题。比如为新的编码工具提供多个操作点，以提供不同的速度-质量取舍。鼓励对旧工具的移除和简化，不仅是增加新的工具。

状态更新

演讲者最后介绍了FB的状态更新。AOM已经整合了许多想法，并尝试使用新的视频编码工具。CTC包括自适应流的情况。测试序列更加多样化。SSIM和VMAF用于评估编码性能。一个新的工作团队（SIWG）已经形成并帮助解决AV1和未来编码工具的复杂性问题。

最后附上演讲视频：