FVC/H.266参考软件JEM的性能评价

JEM简介

FVC/H.266编解码器采用的参考软件为JEM(Joint Exploration Model),JEM是在HEVC参考软件HM(HEVC Test Model)的基础上发展而来。JEM中保留了HEVC基本的编解码框架和流程,但一些重要模块的设计要素多少都有些改变。这些模块包括块划分结构、帧内帧间预测、残差变换、环路滤波和熵编码等,此外,JEM中还添加了一些新的编码工具。

JEM6.0包含以下新的编码技术和工具:

  • 块结构
    • 更大的树形结构单元(最大为256x256)和变换块(最大为64x64)
    • 四叉树加二叉树(QTBT)块结构
  • 帧内预测改进
    • 65个帧内预测方向
    • 用于帧内预测的4抽头插值滤波器
    • 用于除了水平和垂直方向外的其他方向的边界滤波器
    • 跨组件线性模型(CCLM)预测
    • 位置相关的帧内预测组合(PDPC)
    • 自适应参考样本平滑
  • 帧间预测改进
    • 子PU级运动矢量预测
    • 局部自适应运动矢量分辨率
    • 像素运动矢量存储精度
    • 重叠块运动补偿(OBMC)
    • 局部照度补偿(LIC)
    • 仿射运动预测
    • 模式匹配运动矢量导出
    • 双向光流(BIO)
    • 解码端运动矢量改善(DMVR)
  • 变换
    • 显式多核变换
    • 模式相关的不可分二次变换
    • 信号相关变换(SDT)(默认关闭)
  • 环路滤波
    • 双边滤波器
    • 自适应环路滤波器(ALF)
    • 内容自适应限幅
  • 增强的CABAC设计
    • 变换系数级的上下文模型选择
    • 多假设概率估计
    • 上下文模型的初始化

JEM6.0编码工具的性能评价

在第6次JVET会议上,设立了负责编码工具评价工作的临时小组(AHG1,Ad Hoc Group),AHG1主要从事以下工作:

  • 协调探索试验
  • 研究JEM的编码工具与探索试验分支的相互作用
  • 讨论并评价用于评估编码工具效果的方法和标准,从编码器运行时间的角度思考如何简化单一工具的评估过程。
  • 研究和总结新的技术提案。

今年7月13日-21日,第7次JEVT会议在意大利西北部城市都灵召开,几乎与MPEG会议同期进行,JVET总共收到了50多个与AHG和EE(Experiment Exploration)的工作相关的技术提案,这些提案包括了EE的测试进度和一些简要的讨论。图1给出了JEM(HM-KTA)性能的进展过程,横坐标表示相对编码时间,纵坐标表示BD-rate,测试的配置选择Random Access。根据AHG1的参考软件进展报告,与JEM5.0相比,JEM6.0编码器的运行时间已经减少了,但仍比HM高得多(>10x)。

图1 The progress of JEM performance in RA test configuration

在上一次JVET会议中,已经发现屏幕内容(screen content)编码工具在HEVC中是可行的,测试序列使用的是可选的class F(不包含在求平均值的过程里),需要注意的是,虽然JEM的编码器复杂度更高,但是SCM16.15的性能在All Intra和Random Access配置下是优于JEM的。

JEM6.0相对于HM的编码性能汇总如表1所示,可以看出,3个分量都具有显著的增益,在Random Access配置下,使用DaylightRoad测试序列得到了最高的增益36.9%;最低的增益只有15.2%,对应的测试序列为ToddlerFountain。

表1 Coding performance of JEM6.0 compared to HEVC summary

JVET通用测试条件(Common Test Conditions)规定对测试集中的所有视频都要使用4个整数QP点(22、27、32、37)进行测试,CfE(Call for Evidence)中则规定使用固定的目标码率,表2展示了在CfE视频测试集下JEM6.0的BD-rate性能。

表2 JEM6.0 vs HM under CfE test conditions

在上一篇推送中已经提到过有两个关于SDR视频类型的提交,JEM经改进后甚至表现出了比原始JEM更好的性能。

工作展望

本次JVET会议收到的技术投稿的数量增加了,AHG对接下来的工作做了以下的建议:

  • 在评价编码工具性能的时候把编码器复杂度作为一个评判标准,支持进一步降低编解码器的复杂度。
  • 审查所有相关的投稿。
  • 继续进行探索试验。

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2017-08-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

AI 每周必读:The Ones

【AI100 导读】人工智能真的只需要懂些高数,会用深度学习框架跑示例就可以了吗?投稿会议之前将 paper 发布在 arXiv 上,盲审如何保证公平?一起来看...

34712
来自专栏CDA数据分析师

如何利用 Excel 进行高级数据分析?

高级的数据分析会涉及回归分析、方差分析和T检验等方法,不要看这些内容貌似跟日常工作毫无关系,其实往高处走,MBA的课程也是包含这些内容的,所以早学晚学都得学,干...

2048
来自专栏新智元

【谷歌新项目公开】无需学编程,用手机摄像头和浏览器即可机器学习

【新智元导读】谷歌最新的 Teachable Machine 项目,可以让用户无需编程就能利用摄像头采集数据、设计机器学习。作为 AI Experiment 的...

2565
来自专栏机器之心

资源 | 可视化工具Yellowbrick:超参与行为的可视化带来更优秀的实现

1363
来自专栏AI研习社

AI 玩微信跳一跳的正确姿势——跳一跳 Auto-Jump 算法详解

最近,微信小游戏跳一跳可以说是火遍了全国,从小孩子到大孩子仿佛每一个人都在刷跳一跳,作为无(zhi)所(hui)不(ban)能(zhuan)的 AI 程序员,我...

3608
来自专栏数据派THU

有趣的Github项目万里挑一 !(附论文、项目链接)

2212
来自专栏目标检测和深度学习

本周 Github 精选:13 款炼丹利器,有开源工具包也有超大数据集

1034
来自专栏IT派

Keras vs PyTorch:谁是「第一」深度学习框架?

值得一提的是,尽管在 4 月底 PyTorch 在 0.4 版本中已经加入了对于 Windows 的支持,但其对比 Keras 与 TensorFlow 在 W...

792
来自专栏AI科技大本营的专栏

实战 | 让机器人替你聊天,还不被人看出破绽?来,手把手教你训练一个克隆版的你

编译 | AI科技大本营(rgznai100) 参与 | 史天 聊天机器人到底是什么呢?说白了,就是计算机程序通过听觉或文本方法进行对话。 当今最流行的四个对话...

3658
来自专栏机器学习人工学weekly

机器学习人工学weekly-2018/7/1

Building the Software 2.0 Stack by Andrej Karpathy from Tesla

1104

扫码关注云+社区