FVC/H.266参考软件JEM的性能评价

JEM简介

FVC/H.266编解码器采用的参考软件为JEM(Joint Exploration Model)，JEM是在HEVC参考软件HM(HEVC Test Model)的基础上发展而来。JEM中保留了HEVC基本的编解码框架和流程，但一些重要模块的设计要素多少都有些改变。这些模块包括块划分结构、帧内帧间预测、残差变换、环路滤波和熵编码等，此外，JEM中还添加了一些新的编码工具。

JEM6.0包含以下新的编码技术和工具：

• 块结构
  • 更大的树形结构单元（最大为256x256）和变换块（最大为64x64）
  • 四叉树加二叉树(QTBT)块结构
• 帧内预测改进
  • 65个帧内预测方向
  • 用于帧内预测的4抽头插值滤波器
  • 用于除了水平和垂直方向外的其他方向的边界滤波器
  • 跨组件线性模型(CCLM)预测
  • 位置相关的帧内预测组合(PDPC)
  • 自适应参考样本平滑
• 帧间预测改进
  • 子PU级运动矢量预测
  • 局部自适应运动矢量分辨率
  • 像素运动矢量存储精度
  • 重叠块运动补偿(OBMC)
  • 局部照度补偿(LIC)
  • 仿射运动预测
  • 模式匹配运动矢量导出
  • 双向光流(BIO)
  • 解码端运动矢量改善(DMVR)
• 变换
  • 显式多核变换
  • 模式相关的不可分二次变换
  • 信号相关变换(SDT)（默认关闭）
• 环路滤波
  • 双边滤波器
  • 自适应环路滤波器(ALF)
  • 内容自适应限幅
• 增强的CABAC设计
  • 变换系数级的上下文模型选择
  • 多假设概率估计
  • 上下文模型的初始化

JEM6.0编码工具的性能评价

在第6次JVET会议上，设立了负责编码工具评价工作的临时小组(AHG1，Ad Hoc Group)，AHG1主要从事以下工作：

• 协调探索试验
• 研究JEM的编码工具与探索试验分支的相互作用
• 讨论并评价用于评估编码工具效果的方法和标准，从编码器运行时间的角度思考如何简化单一工具的评估过程。
• 研究和总结新的技术提案。

今年7月13日-21日，第7次JEVT会议在意大利西北部城市都灵召开，几乎与MPEG会议同期进行，JVET总共收到了50多个与AHG和EE(Experiment Exploration)的工作相关的技术提案，这些提案包括了EE的测试进度和一些简要的讨论。图1给出了JEM(HM-KTA)性能的进展过程，横坐标表示相对编码时间，纵坐标表示BD-rate，测试的配置选择Random Access。根据AHG1的参考软件进展报告，与JEM5.0相比，JEM6.0编码器的运行时间已经减少了，但仍比HM高得多(>10x)。

图1 The progress of JEM performance in RA test configuration

在上一次JVET会议中，已经发现屏幕内容(screen content)编码工具在HEVC中是可行的，测试序列使用的是可选的class F（不包含在求平均值的过程里），需要注意的是，虽然JEM的编码器复杂度更高，但是SCM16.15的性能在All Intra和Random Access配置下是优于JEM的。

JEM6.0相对于HM的编码性能汇总如表1所示，可以看出，3个分量都具有显著的增益，在Random Access配置下，使用DaylightRoad测试序列得到了最高的增益36.9%；最低的增益只有15.2%，对应的测试序列为ToddlerFountain。

表1 Coding performance of JEM6.0 compared to HEVC summary

JVET通用测试条件(Common Test Conditions)规定对测试集中的所有视频都要使用4个整数QP点（22、27、32、37）进行测试，CfE(Call for Evidence)中则规定使用固定的目标码率，表2展示了在CfE视频测试集下JEM6.0的BD-rate性能。

表2 JEM6.0 vs HM under CfE test conditions

在上一篇推送中已经提到过有两个关于SDR视频类型的提交，JEM经改进后甚至表现出了比原始JEM更好的性能。

工作展望

本次JVET会议收到的技术投稿的数量增加了，AHG对接下来的工作做了以下的建议：

• 在评价编码工具性能的时候把编码器复杂度作为一个评判标准，支持进一步降低编解码器的复杂度。
• 审查所有相关的投稿。
• 继续进行探索试验。