本文来自SMPTE Technology Webcast Series,演讲者是来自Dolby laboratories, Inc的Sean T. McCarthy和Walt Husak,演讲主题是新型视频编解码器前景:VVC, EVC, HEVC,LC-EVC, AVC等。
Sean从以下几方面对过去几年间视频编解码器的发展做了概述和整合:
- 现存的及更新的视频编解码器概述;
- 为什么会发展出新型的视频编解码器;
- 编码工具概述;
- 压缩性能和复杂度概述;
- AVC和HEVC是否已经过时;
- 视频编码点和补充增强信息;
- 接下来的发展方向;
Sean首先通过一张图介绍了不同的视频编码标准及提出的组织,并介绍了不同标准的需求及应用场景:
- AVC:最大压缩效率,兼容广泛应用;适用于HD;
- HEVC:最大压缩效率,兼容广泛应用;可用于UHD;
- AV1:对网络视频编解码器优化;针对网络视频及流视频;
- EVC:对于流视频和OTT提供一个可选的视频编码器;流视频上的表现至少与HEVC等同;
- LCEVC:对于部署设备提升编码性能;相对现有编解码器提升压缩效率;
- VVC:最大压缩效率,兼容广泛应用;HDR,360°视频,UHD 8k,通用编解码器。
然后简要介绍了视频编码的步骤:
分块→预测→变换(+量化)→增强(环路滤波器)→熵编码
对于每一部分,更大的块尺寸和更多的分块方法,更多的帧内和帧间预测,更多的变换函数,更多的环路滤波器选择,更有适应能力的熵编码都能够获得更好的压缩和更好的质量。
之后介绍了VVC,AV1,EVC不同版本的标准中每一步骤中的一些细节,并对比HEVC, EVC,VVC的相似和不同之处。
接下围绕增益从何而来的问题,对比了不同标准中最大编码块和变换块的尺寸。现在的计算力能够支持更大尺寸的块,而更大的块能够提升HD和UHD的压缩效果。还对比了不同标准中的分块方法,更多的分块方法也能获得更好的压缩效果。接着介绍了编码工具中他认为的一些亮点,首先是屏幕内容编码工具,可以为网络协作,游戏,图形等提升压缩效果和质量,如HEVC,EVC main,AV1及VVC中的帧内块拷贝(Intra Block Copy,IBC),HEVC,AV1 和VVC中的调色板模式(palette mode)。还有VVC中的几何分块和AV1中的楔形分块,应用于自适应流视频的参考图像重采样(reference picture resampling),AV1帧的超分辨率,VVC色度伸缩的亮度映射(Luma mapping with chroma scaling,LMCS),360°视频的沉浸式编码。
下面Walt进行了LCEVC概述:LCEVC是在现存的编解码器(如AVC,HEVC)的基础上,增加增强层编解码器,提供了更大的空间分辨率。其中用到了两种提升,1/2分辨率的子层和全分辨率的子层。然后介绍了交叉编解码器规范和信息,介绍了VUI和SEI信息的一种新规范,以及视频编码点的用途。
接着由Sean介绍编解码器的性能和复杂度。首先介绍如何评价编解码器的性能及注意事项,要把参考编码器和参考编码器进行对比,如把JM,HM,ETM,VTM等进行对比;对比相同的应用场景,如UHD和UHD对比,HD和HD对比,而不是UHD和混合UHD对比;使用通常容易获得的测试内容,并且有时空复杂度的多样性,而不是专有的测试内容或时空复杂度较低的内容;利用主观观察获取信息,不要仅仅依赖于空间客观的指标如PSNR,SSIM等。此外列举出了一些评价编解码器性能的好的例子。
接下来介绍了RD-rate指标,并对比VVC和HEVC的客观性能。从空间客观度量上看,在UHD和HD的表现上VVC比HEVC效率提升约40%,参考编码器的复杂度约是HEVC的10倍左右,参考解码器约为2倍左右。主观性能上,在大部分点上,相对HM,VTM大约能提供一半的比特率节省。然后又对比了HEVC和AV1,得出的结论是虽然在主观评价上有所不同,但在多数场合下客观评价结果上看,这两种编解码器没有显著的不同。接着又对比了HEVC和EVC main,并对比了LCEVC分别在AVC和HEVC基础上的表现。
对于AVC是否过时的问题,通过介绍AVC的发展历程,演讲者得出了否定的答案。AVC还有很长的生命,并在被持续不断地更新。HEVC也是同样。还有很多扩展用途场景。
最后是Walt介绍VVC接下来的发展方向,一个是深度学习工具,对于静止图像,用AI工具完成图像压缩的端到端的学习,对于深度神经网络视频编码,用AI方法学习并替换现有的视频压缩工具。另一个是V2或更高版本的候选方案。最后是介绍了相关组织的传统及重组结构。