视频编解码器标准化和生态系统进展

本文来自PCS 2021的一次Keynote，演讲者是来自Intel的Jill Boyce，演讲题目是“Video Codec Standardization and Ecosystem Update”，主要介绍了视频编解码器的标准化和进展。

第一部分对视频编解码标准化进行了概述，对其发展史进行了简单介绍，然后介绍了一些进展。

首先从MPEG讲起。MPEG近期作为SC29的一部分被重组了，在新的SC29中，MPEG子组晋升为了工作组。

JVET在2020年确定了VVC标准，在第一版本之后，第二版计划实现VVC拓展，称为操作范围拓展，主要针对更高位深（12、16bit）、更高速率的操作，而不仅仅是原始配置文件针对的那些分布。因此在操作范围扩展的同时，新的配置文件也会被定义。

在VVC本身被标准化时，还有VSEI这个通用的补充增强信息也被确定了下来。还形成了一个VSCI标准，其中包括大部分但不是全部的SEI消息。所以从历史上看，SEI消息一直是同一规范的一部分，并且包含了AVC和HEVC的消息，但对于VVC，大多数消息都放在一个单独的规范中，称为VSEI。这样有利于实现单独维护，并且可以被其他编解码器引用，有助于未来标准的可维护性和扩展性。单独标准中的SEI消息的一个例外是与一致性和HRD相关的消息，因此在VVC标准本身中包含了这些SEI消息。但是在第二版中，当出现新版本的VVC时，也会有新版本的VSCI添加一些新的SEI消息。

目前有两个活动正在探索中, 一个是基于神经网络的视频编码，这个活动有很多活动有很多正在研究的领域，比如环路滤波器、超分辨率、端到端的帧内编码等；另一个是使用传统方法来增强压缩技术。

接着介绍了AOM的最新消息，AV1之后应该是什么？AV1并不是AOM开发的唯一标准，但是却是唯一的视频编解码器。AOM有多个工作组，Video Codec WG主要研究高效的编码工具，目标是制定AV2标准。Software Implemention WG专注于优化开源软件编解码器的实施，并且最初专注于称为SVT-AV1的编码器。Storage and Transport Formats WG最初称为元数据工作组，它包括时间元数据同步内容和保护活动。

第二部分介绍了影响采用新视频编解码标准的因素。Boyce总结了其2019年和2020年针对视频行业调查的一些结果和编码标准的行业预测。

首先是产品和服务，对于服务，他们需要提供可用的产品，如果没有支持编解码器的编码器和解码器产品，那么显然他们无法使用它们启动服务；对于产品，需要硬件和软件的权衡，硬件产品通常需要更长的时间来开发，通常在标准定稿后1-2年才有可能见到早期产品，软件产品通常可以更快推出，但是性能较差、功率更大；同时支持浏览器和操作系统也具有重要意义。

之后简单介绍了HEVC、AV1、VVC的产品和服务。新的应用驱动了新的编解码器的产生。比如HEVC可以实现4K、UHD和HDR；编码效率确实是视频编解码器存在的原因，我们开发新一代编码标准的原因通常是因为我们希望编码效率得到大幅提升，所以这是任何新编解码器的关键优势，但很难衡量。需要考虑用什么去衡量，使用什么样的编码器以及编码器参数如何设置等等。编码效率会受到编码器质量和复杂度的影响。

在视频编解码器的开发过程中，标准草案版本所获得的编码收益在开发过程中可能会发生相当大的变化。所以MPEG会议每年举行四次每次举行新会议时都会发布一个新版本的VTM参考软件。随着时间的推移，会议周期的收益在逐步增加。

然后还有对编码运行时间和解码运行时间的影响，现在软件编码运行时间是编码效率和硬件或复杂性的非常不完美的衡量标准。但这是我们作为客观衡量标准所拥有的，因此它仍然被使用，看到随着时间的推移，编码器和解码器的运行时间开始变得越来越糟，最后随着效率的提高，它们变得更好一点。这张表也显示了UHD内容和HD内容的增益之间的差异，通常至少在较新的编解码器中，与较低分辨率的内容相比，获得编码增益和更高分辨率的内容更容易。

编码效率还会受到实际编码内容的影响，视频的场景、活动水平等都会产生影响，因此在评价时，需要针对特定的用例进行测试。当考虑是否选用新的编解码器时，实现复杂度也是重要的影响因素。但是当考虑是否采用新的编解码器时，该编解码器的实现复杂性实际上非常重要。解码器复杂度和编码器复杂度都很重要。所以有时我们使用编码器和解码器软件运行时作为复杂性度量。

最后Boyce介绍了专利许可的相关内容。

第三部分是对上述talk的几点总结，目前已有许多不同的视频编解码器，未来预期会有更多；关于编解码器的标准实际上已经完成了，之后很多的工作就是要构建使用这些标准的产品和服务；决定部署哪些视频编解码器会受到很多因素的影响；整个系统会继续使用多元化的视频编解码器。