视频压缩编码的新进展

前言

2015年10月,国际电信联盟(ITU-T)的视频编码专家组(VCEG)和国际标准化组织/国际电工委员会(ISO/IEC)的运动图像专家组(MPEG)组成了联合视频探索小组(JVET),JVET正在研究对压缩性能显著超过HEVC标准(包括它现在的扩展)的视频编码技术进行标准化的可能性,这种未来编码技术的标准化结果可以作为HEVC额外的扩展或者完全作为一种新的标准(FVC/H.266)。

FVC/H.266最新进展

今年7月17日-21日,第119次MPEG会议在意大利西北部城市都灵成功召开,本次会议主要对所有提交的CfE(Call for Evidence)进行了评价,结果表明,最新的视频编码技术的压缩性能显著超过了HEVC标准以及它现在的扩展。

CfE要求准备提交测试结果的公司和组织使用3种类型的视频对视频编码技术的效果进行测试和验证,分别是标准动态范围(SDR,Standard Dynamic Range)视频、高动态范围(HDR,High Dynamic Range)视频和360°全方位视频。本次会议最终收到了两个关于SDR类型的提交、两个关于HDR类型的提交以及四个关于360°视频类型的提交,对这些提交的评价主要包括由候选的视频编码技术产生的视频质量的主观测试,此外,会议还评价了JVET开发的参考软件JEM(Joint Exploration Model)的性能。

在CfE中,提交者不需要提交所有测试序列的结果,但是要提供给定class中所有序列的测试结果。总共有3个用于测试的class可供选择,分别为包含8个UHD序列和5个HD序列的SDR视频 class、包含5个HD序列的HDR视频 class以及包含5个测试序列(8K输入分辨率和标准动态范围)的360°视频class。所有测试序列及其目标码率如表1到表7所示。

表1 SDR test sequences

表2 SDR target bit rates

表3 SDR target bit rates for HM anchors

表4 HDR test sequences

表5 HDR target bit rates

表6 360º video test sequences

表7 Target bit rates for 360° video test sequences

客观评价过程要求所有测试者提交码流、二进制解码器、PSNR值(至少是每个测试序列在每一个码率点处的所有帧的PSNR的平均值,区分亮度分量和色度分量)还有相对于anchor的BD-Rate值和BD-PSNR值,此外,对于HDR视频还需要提交加权的PSNR值(至少是每个测试序列在每一个码率点处的所有帧的wPSNRs的平均值,区分亮度分量和色度分量)、tPSNR-Y、deltaE100、PSNR-L100以及每一个度量标准的BD-Rate值和BD-PSNR值,对于360°视频需要进一步提交以下供选择的度量标准:E2E WS-PSNR、E2E CPP-PSNR、E2E S-PSNR-I、E2E S-PSNR-NN和WS-PSNR,鼓励报告CPP-PSNR、S-PSNR-I和S-PSNR-NN这3个度量标准。本文选择了3个公司的评价结果进行展示,Samsung提交的SDR视频的评价如表8所示,Technicolor提交的HDR视频的评价如表9所示,InterDigital提交的360°视频的评价如表10所示。

表8 CfE response performance vs CfE anchor (matched bit-rates)

表9 HDR metrics using HM anchors as reference

表10 Comparison of the response with the HM 360° anchors

in terms of coding performance

主观评价过程是对提交的码流解码得到的视频序列进行评价,采用了具有5级减损程度的专家观察协议(EVP,Expert Viewing Protocol)。本文从3种class中分别挑选了一个视频展示主观评价的结果,在图1到图3中,绘制出了相应码率下测得的MOS值,MOS值为5表示完全没有失真,MOS值为1表示失真特别严重,anchor使用相应的参考软件的名字“HM”和“JEM”标注,“PA”、“PB”和“PC”表示用于评价的CfE的提交。

图1 CatRobot1(SDR)

图2 Market3(HDR)

图3 ChairliftRide(360°video)

结论

评价结果表明,对于大量的测试序列,最新的视频编码技术实现的增益显著超过HEVC,使用SDR和HDR测试序列时,在码率减少40%-50%的情况下可以提供与HEVC相当的主观质量,在单一类型下,甚至可以观察到更高的码率节省,例如几个360°视频测试序列显示出了很高的增益,所以可以做出结论,已经存在性能显著超过HEVC的压缩编码技术并且可以开发为一种新的视频编码标准(FVC/H.266),因此正式征集提案(Call for Proposal)的准备工作已经开始了,预期会在今年10月发布,并在2018年4月的MPEG会议上评价相关的提案。

参考自:

ISO/IEC JTC 1/SC 29/WG 11 N16923, Evidence of New Developments in Video Compression Coding.

Document: JVET-G1004, Results of the Joint Call for Evidence on Video Compression with Capability beyond HEVC.

Document: JVET-G0029, Samsung's response to Joint CfE on Video Compression with Capability beyond HEVC (SDR category).

Document: JVET-G0022, CfE response to the HDR category from Technicolor.

Document: JVET-G0024, InterDigital’s Response to the 360º Video Category in Joint Call for Evidence on Video Compression with Capability beyond HEVC.

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2017-08-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

资源 | Richard Sutton经典教材《强化学习》第二版公布(附PDF下载)

2458
来自专栏量子位

火爆GitHub:100天搞定机器学习编程(超赞信息图+代码+数据集)

但怎么想是一回事,怎么做往往是另一回事。学习和健身一样,不少人都停留在口头上,有各种借口不曾付诸实施。

590
来自专栏深度学习与计算机视觉

深度学习与机器学习中开源图片数据库汇总

数据的准备工作是训练模型前的必要工作,显然这也是非常耗时的,所以在入门阶段我们完全可以用现有的开源图片库快速完成前期的准备工作: ImageNet ImageN...

2865
来自专栏月色的自留地

NMF学习练习:做电影推荐

1723
来自专栏AI研习社

AI 玩微信跳一跳的正确姿势——跳一跳 Auto-Jump 算法详解

最近,微信小游戏跳一跳可以说是火遍了全国,从小孩子到大孩子仿佛每一个人都在刷跳一跳,作为无(zhi)所(hui)不(ban)能(zhuan)的 AI 程序员,我...

3518
来自专栏程序员宝库

AI 玩微信小游戏跳一跳的正确姿势,Auto-Jump 算法详解

来源:肖泰洪 + 安捷 链接:zhuanlan.zhihu.com/p/32636329 ? 最近,微信小游戏跳一跳可以说是火遍了全国,从小孩子到大孩子仿佛每...

3275
来自专栏量子位

AI造福设计师:搭配色板这种苦差事交给GAN就好啦(教程)

李林 发自 城北某村 量子位·QbitAI 出品 设计师要开工,总是离不开配色方案,也就是色板。 不过,做色板可不是个简单的活,色板生成器Colormind的作...

4169
来自专栏机器之心

资源 | DeepPavlov:一个训练对话系统和聊天机器人的开源库

选自GitHub 机器之心编译 参与:思源、刘晓坤 本文介绍了一个构建端到端对话系统和训练聊天机器人的开源项目 DeepPavlov,该开源库的构建基于 Ten...

2924
来自专栏量化投资与机器学习

根据期权价格估算风险中性密度

1322
来自专栏CVer

说两件事

虽然最近半个月CVer 依然保持每日推文,但原创的文章越来越少了。Amusi觉得一个公众号最基本的原则是输出优质内容,其次是保持原创。原创很重要,Amusi也很...

563

扫描关注云+社区