新编码器前景：VVC、EVC、HEVC、LCEVC、AVC等

本文来自SMPTE Technology Webcast Series，演讲者是来自Dolby laboratories, Inc的Sean T. McCarthy和Walt Husak，演讲主题是新型视频编解码器前景：VVC, EVC, HEVC,LC-EVC, AVC等。

Sean从以下几方面对过去几年间视频编解码器的发展做了概述和整合：

- 现存的及更新的视频编解码器概述；

- 为什么会发展出新型的视频编解码器；

- 编码工具概述；

- 压缩性能和复杂度概述；

- AVC和HEVC是否已经过时;

- 视频编码点和补充增强信息；

- 接下来的发展方向；

Sean首先通过一张图介绍了不同的视频编码标准及提出的组织，并介绍了不同标准的需求及应用场景：

- AVC：最大压缩效率，兼容广泛应用；适用于HD；

- HEVC：最大压缩效率，兼容广泛应用；可用于UHD；

- AV1：对网络视频编解码器优化；针对网络视频及流视频；

- EVC：对于流视频和OTT提供一个可选的视频编码器；流视频上的表现至少与HEVC等同；

- LCEVC：对于部署设备提升编码性能；相对现有编解码器提升压缩效率；

- VVC：最大压缩效率，兼容广泛应用；HDR，360°视频，UHD 8k，通用编解码器。

然后简要介绍了视频编码的步骤：

分块→预测→变换（+量化）→增强（环路滤波器）→熵编码

对于每一部分，更大的块尺寸和更多的分块方法，更多的帧内和帧间预测，更多的变换函数，更多的环路滤波器选择，更有适应能力的熵编码都能够获得更好的压缩和更好的质量。

之后介绍了VVC，AV1，EVC不同版本的标准中每一步骤中的一些细节，并对比HEVC, EVC,VVC的相似和不同之处。

接下围绕增益从何而来的问题，对比了不同标准中最大编码块和变换块的尺寸。现在的计算力能够支持更大尺寸的块，而更大的块能够提升HD和UHD的压缩效果。还对比了不同标准中的分块方法，更多的分块方法也能获得更好的压缩效果。接着介绍了编码工具中他认为的一些亮点，首先是屏幕内容编码工具，可以为网络协作，游戏，图形等提升压缩效果和质量，如HEVC，EVC main，AV1及VVC中的帧内块拷贝(Intra Block Copy，IBC)，HEVC，AV1 和VVC中的调色板模式（palette mode）。还有VVC中的几何分块和AV1中的楔形分块，应用于自适应流视频的参考图像重采样（reference picture resampling），AV1帧的超分辨率，VVC色度伸缩的亮度映射（Luma mapping with chroma scaling，LMCS），360°视频的沉浸式编码。

下面Walt进行了LCEVC概述：LCEVC是在现存的编解码器（如AVC，HEVC）的基础上，增加增强层编解码器，提供了更大的空间分辨率。其中用到了两种提升，1/2分辨率的子层和全分辨率的子层。然后介绍了交叉编解码器规范和信息，介绍了VUI和SEI信息的一种新规范，以及视频编码点的用途。

接着由Sean介绍编解码器的性能和复杂度。首先介绍如何评价编解码器的性能及注意事项，要把参考编码器和参考编码器进行对比，如把JM，HM，ETM，VTM等进行对比；对比相同的应用场景，如UHD和UHD对比，HD和HD对比，而不是UHD和混合UHD对比；使用通常容易获得的测试内容，并且有时空复杂度的多样性，而不是专有的测试内容或时空复杂度较低的内容；利用主观观察获取信息，不要仅仅依赖于空间客观的指标如PSNR，SSIM等。此外列举出了一些评价编解码器性能的好的例子。

接下来介绍了RD-rate指标，并对比VVC和HEVC的客观性能。从空间客观度量上看，在UHD和HD的表现上VVC比HEVC效率提升约40%，参考编码器的复杂度约是HEVC的10倍左右，参考解码器约为2倍左右。主观性能上，在大部分点上，相对HM，VTM大约能提供一半的比特率节省。然后又对比了HEVC和AV1，得出的结论是虽然在主观评价上有所不同，但在多数场合下客观评价结果上看，这两种编解码器没有显著的不同。接着又对比了HEVC和EVC main，并对比了LCEVC分别在AVC和HEVC基础上的表现。

对于AVC是否过时的问题，通过介绍AVC的发展历程，演讲者得出了否定的答案。AVC还有很长的生命，并在被持续不断地更新。HEVC也是同样。还有很多扩展用途场景。

最后是Walt介绍VVC接下来的发展方向，一个是深度学习工具，对于静止图像，用AI工具完成图像压缩的端到端的学习，对于深度神经网络视频编码，用AI方法学习并替换现有的视频压缩工具。另一个是V2或更高版本的候选方案。最后是介绍了相关组织的传统及重组结构。