FVC/H.266参考软件JEM的性能评价

JEM简介

FVC/H.266编解码器采用的参考软件为JEM(Joint Exploration Model),JEM是在HEVC参考软件HM(HEVC Test Model)的基础上发展而来。JEM中保留了HEVC基本的编解码框架和流程,但一些重要模块的设计要素多少都有些改变。这些模块包括块划分结构、帧内帧间预测、残差变换、环路滤波和熵编码等,此外,JEM中还添加了一些新的编码工具。

JEM6.0包含以下新的编码技术和工具:

  • 块结构
    • 更大的树形结构单元(最大为256x256)和变换块(最大为64x64)
    • 四叉树加二叉树(QTBT)块结构
  • 帧内预测改进
    • 65个帧内预测方向
    • 用于帧内预测的4抽头插值滤波器
    • 用于除了水平和垂直方向外的其他方向的边界滤波器
    • 跨组件线性模型(CCLM)预测
    • 位置相关的帧内预测组合(PDPC)
    • 自适应参考样本平滑
  • 帧间预测改进
    • 子PU级运动矢量预测
    • 局部自适应运动矢量分辨率
    • 像素运动矢量存储精度
    • 重叠块运动补偿(OBMC)
    • 局部照度补偿(LIC)
    • 仿射运动预测
    • 模式匹配运动矢量导出
    • 双向光流(BIO)
    • 解码端运动矢量改善(DMVR)
  • 变换
    • 显式多核变换
    • 模式相关的不可分二次变换
    • 信号相关变换(SDT)(默认关闭)
  • 环路滤波
    • 双边滤波器
    • 自适应环路滤波器(ALF)
    • 内容自适应限幅
  • 增强的CABAC设计
    • 变换系数级的上下文模型选择
    • 多假设概率估计
    • 上下文模型的初始化

JEM6.0编码工具的性能评价

在第6次JVET会议上,设立了负责编码工具评价工作的临时小组(AHG1,Ad Hoc Group),AHG1主要从事以下工作:

  • 协调探索试验
  • 研究JEM的编码工具与探索试验分支的相互作用
  • 讨论并评价用于评估编码工具效果的方法和标准,从编码器运行时间的角度思考如何简化单一工具的评估过程。
  • 研究和总结新的技术提案。

今年7月13日-21日,第7次JEVT会议在意大利西北部城市都灵召开,几乎与MPEG会议同期进行,JVET总共收到了50多个与AHG和EE(Experiment Exploration)的工作相关的技术提案,这些提案包括了EE的测试进度和一些简要的讨论。图1给出了JEM(HM-KTA)性能的进展过程,横坐标表示相对编码时间,纵坐标表示BD-rate,测试的配置选择Random Access。根据AHG1的参考软件进展报告,与JEM5.0相比,JEM6.0编码器的运行时间已经减少了,但仍比HM高得多(>10x)。

图1 The progress of JEM performance in RA test configuration

在上一次JVET会议中,已经发现屏幕内容(screen content)编码工具在HEVC中是可行的,测试序列使用的是可选的class F(不包含在求平均值的过程里),需要注意的是,虽然JEM的编码器复杂度更高,但是SCM16.15的性能在All Intra和Random Access配置下是优于JEM的。

JEM6.0相对于HM的编码性能汇总如表1所示,可以看出,3个分量都具有显著的增益,在Random Access配置下,使用DaylightRoad测试序列得到了最高的增益36.9%;最低的增益只有15.2%,对应的测试序列为ToddlerFountain。

表1 Coding performance of JEM6.0 compared to HEVC summary

JVET通用测试条件(Common Test Conditions)规定对测试集中的所有视频都要使用4个整数QP点(22、27、32、37)进行测试,CfE(Call for Evidence)中则规定使用固定的目标码率,表2展示了在CfE视频测试集下JEM6.0的BD-rate性能。

表2 JEM6.0 vs HM under CfE test conditions

在上一篇推送中已经提到过有两个关于SDR视频类型的提交,JEM经改进后甚至表现出了比原始JEM更好的性能。

工作展望

本次JVET会议收到的技术投稿的数量增加了,AHG对接下来的工作做了以下的建议:

  • 在评价编码工具性能的时候把编码器复杂度作为一个评判标准,支持进一步降低编解码器的复杂度。
  • 审查所有相关的投稿。
  • 继续进行探索试验。

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2017-08-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

哈佛用NBA比赛数据生成报道,评测各模型效果 | 数据集+论文+代码

安妮 编译整理 量子位出品 | 公众号 QbitAI 近日,哈佛大学的三名研究人员公开发表论文《Challenges of Data-to-Document G...

3418
来自专栏有趣的Python

TensorFlow应用实战-16-强化学习基础理论

1495
来自专栏机器人网

Python最有用的机器学习工具和库

Python是最好的编程语言之一,在科学计算中用途广泛:计算机视觉、人工智能、数学、天文等。它同样适用于机器学习也是意料之中的事。

795
来自专栏用户画像

Facebook 推荐算法

版权声明:本文为博主-姜兴琪原创文章,未经博主允许不得转载。 https://blog.csdn.net/jxq0816/article/details/816...

883
来自专栏机器之心

资源 | DLL:一个炙手可热的快速深度神经网络库

1558
来自专栏目标检测和深度学习

资源 | DLL:一个炙手可热的快速深度神经网络库

571
来自专栏新智元

【重磅】Facebook AI 负责人:深度学习技术趋势报告(150 PPT 全文翻译及下载)

Yann LeCun 是卷积神经网络的发明人,Facebook 人工智能研究院的负责人。下文的 150 张 PPT,是 LeCun 对深度学习领域的全面而细致的...

3926
来自专栏机器之心

入门 | 走近流行强化学习算法:最优Q-Learning

1694
来自专栏机器之心

评测 | CNTK在Keras上表现如何?能实现比TensorFlow更好的深度学习吗?

选自MiniMaxir 作者:Max Woolf 机器之心编译 参与:Jane W、吴攀 Keras 是由 François Chollet 维护的深度学习高级...

2545
来自专栏大数据文摘

【重磅】Facebook AI 负责人:深度学习技术趋势报告(150 PPT下载)

1515

扫描关注云+社区