视频压缩编码的新进展

前言

2015年10月，国际电信联盟(ITU-T)的视频编码专家组(VCEG)和国际标准化组织/国际电工委员会(ISO/IEC)的运动图像专家组(MPEG)组成了联合视频探索小组(JVET)，JVET正在研究对压缩性能显著超过HEVC标准（包括它现在的扩展）的视频编码技术进行标准化的可能性，这种未来编码技术的标准化结果可以作为HEVC额外的扩展或者完全作为一种新的标准(FVC/H.266)。

FVC/H.266最新进展

今年7月17日-21日，第119次MPEG会议在意大利西北部城市都灵成功召开，本次会议主要对所有提交的CfE(Call for Evidence)进行了评价，结果表明，最新的视频编码技术的压缩性能显著超过了HEVC标准以及它现在的扩展。

CfE要求准备提交测试结果的公司和组织使用3种类型的视频对视频编码技术的效果进行测试和验证，分别是标准动态范围(SDR，Standard Dynamic Range)视频、高动态范围(HDR，High Dynamic Range)视频和360°全方位视频。本次会议最终收到了两个关于SDR类型的提交、两个关于HDR类型的提交以及四个关于360°视频类型的提交，对这些提交的评价主要包括由候选的视频编码技术产生的视频质量的主观测试，此外，会议还评价了JVET开发的参考软件JEM(Joint Exploration Model)的性能。

在CfE中，提交者不需要提交所有测试序列的结果，但是要提供给定class中所有序列的测试结果。总共有3个用于测试的class可供选择，分别为包含8个UHD序列和5个HD序列的SDR视频 class、包含5个HD序列的HDR视频 class以及包含5个测试序列（8K输入分辨率和标准动态范围）的360°视频class。所有测试序列及其目标码率如表1到表7所示。

表1 SDR test sequences

表2 SDR target bit rates

表3 SDR target bit rates for HM anchors

表4 HDR test sequences

表5 HDR target bit rates

表6 360º video test sequences

表7 Target bit rates for 360° video test sequences

客观评价过程要求所有测试者提交码流、二进制解码器、PSNR值（至少是每个测试序列在每一个码率点处的所有帧的PSNR的平均值，区分亮度分量和色度分量）还有相对于anchor的BD-Rate值和BD-PSNR值，此外，对于HDR视频还需要提交加权的PSNR值（至少是每个测试序列在每一个码率点处的所有帧的wPSNRs的平均值，区分亮度分量和色度分量）、tPSNR-Y、deltaE100、PSNR-L100以及每一个度量标准的BD-Rate值和BD-PSNR值，对于360°视频需要进一步提交以下供选择的度量标准：E2E WS-PSNR、E2E CPP-PSNR、E2E S-PSNR-I、E2E S-PSNR-NN和WS-PSNR，鼓励报告CPP-PSNR、S-PSNR-I和S-PSNR-NN这3个度量标准。本文选择了3个公司的评价结果进行展示，Samsung提交的SDR视频的评价如表8所示，Technicolor提交的HDR视频的评价如表9所示，InterDigital提交的360°视频的评价如表10所示。

表8 CfE response performance vs CfE anchor (matched bit-rates)

表9 HDR metrics using HM anchors as reference

表10 Comparison of the response with the HM 360° anchors

in terms of coding performance

主观评价过程是对提交的码流解码得到的视频序列进行评价，采用了具有5级减损程度的专家观察协议(EVP，Expert Viewing Protocol)。本文从3种class中分别挑选了一个视频展示主观评价的结果，在图1到图3中，绘制出了相应码率下测得的MOS值，MOS值为5表示完全没有失真，MOS值为1表示失真特别严重，anchor使用相应的参考软件的名字“HM”和“JEM”标注，“PA”、“PB”和“PC”表示用于评价的CfE的提交。

图1 CatRobot1(SDR)

图2 Market3(HDR)

图3 ChairliftRide(360°video)

结论

评价结果表明，对于大量的测试序列，最新的视频编码技术实现的增益显著超过HEVC，使用SDR和HDR测试序列时，在码率减少40%-50%的情况下可以提供与HEVC相当的主观质量，在单一类型下，甚至可以观察到更高的码率节省，例如几个360°视频测试序列显示出了很高的增益，所以可以做出结论，已经存在性能显著超过HEVC的压缩编码技术并且可以开发为一种新的视频编码标准(FVC/H.266)，因此正式征集提案(Call for Proposal)的准备工作已经开始了，预期会在今年10月发布，并在2018年4月的MPEG会议上评价相关的提案。

参考自：

ISO/IEC JTC 1/SC 29/WG 11 N16923, Evidence of New Developments in Video Compression Coding.

Document: JVET-G1004, Results of the Joint Call for Evidence on Video Compression with Capability beyond HEVC.

Document: JVET-G0029, Samsung's response to Joint CfE on Video Compression with Capability beyond HEVC (SDR category).

Document: JVET-G0022, CfE response to the HDR category from Technicolor.

Document: JVET-G0024, InterDigital’s Response to the 360º Video Category in Joint Call for Evidence on Video Compression with Capability beyond HEVC.