MPEG最近在忙啥？

引言：

MPEG主席Leonardo近日描述了MPEG未来几个月或几年的主要活动和准备交付的标准进展。本帖子内容翻译自其博客文章: Life inside MPEG, (http://blog.chiariglione.org/life-inside-mpeg/)

MPEG一览

下图显示了MPEG在2017-2023期间制定或正在制定的主要标准，分为3个主要部分：

• 媒体编码（例如MP3和AVC）
• 系统和工具（例如MPEG-2 TS和文件格式）
• 超越媒体（目前是基因组压缩和神经网络压缩）。

视频编码

在视频编码领域，MPEG目前正在处理4种标准（MPEG-4，-H，-I和-CICP）和几项探索。

MPEG-I ISO / IEC 23090沉浸式媒体的编码表示是开发沉浸式媒体设备，应用和服务所需的标准的容器。

MPEG目前正致力于第3部分多功能视频编码，这是继HEVC之后的新视频压缩标准。VVC与VCEG共同开发，预计将于2020年10月进入FDIS阶段。

探索

1. 探索新的视频编码标准，该标准结合了编码效率（类似于HEVC），复杂性（适用于实时编码和解码）和可用性（许可条款的及时可用性）。2018年10月发出征集建议书。提交的文件将于2019年1月提交，新标准的FDIS阶段预计将在2020年1月达到。

2. 对未来标准的探索，该标准定义由两个流组成的数据流结构：可由硬件解码器解码的基本流，以及适用于具有可持续功耗的软件处理实现的增强流。该活动得到了视频发行业务的30多家主要国际参与者的支持。一个用于提议呼叫，已在十月发行了2018年提交是由于在2019年三月和FDIS阶段，预计4月份到2020年达到。

3. 关于沉浸式视频编码的几点探索

• 3DoF + Visual：征集提案将于2019年1月发布。提交的文件将于2019年3月提交，FDIS计划于2020年7月完成。此活动的结果并不是视频编码标准，而是一组可以提供的元数据。用于在OMAF v2中提供更真实的用户体验。实际上，3DoF + Visual将成为MPEG-I第7部分沉浸式媒体元数据的一部分。请注意，3自由度（3DoF）意味着用户只能进行偏航，俯仰，侧倾运动，但3DoF +意味着用户也可以在有限的范围内移动头部。
• 关于压缩6DoF视觉（Windowed-6DoF和全向6DoF）和光场密集表示压缩的几个长期探索。没有确定这些领域标准的确切时间表。

音频编码

在音频编码区，MPEG处理3种标准（MPEG-4，-D和-I）。特别相关的是MPEG-I part 3 Immersive Audio活动。它基于MPEG-H 3D音频 - 已经支持3DoF用户体验 - 并将提供6DoF沉浸式音频VR体验。提案征集将于2019年3月发布。预计将于2020年1月提交，FDIS阶段预计将于2021年4月达到。至于3DoF + Visual，该标准不是关于压缩，而是关于元数据。

3D图形编码

在3D图形编码区域中，MPEG处理MPEG-I的两个部分。

• 基于视频的点云压缩（V-PCC）计划于2019年10月达到FDIS阶段。必须注意的是，2018年7月开展了一项活动，以开发用于集成360视频和V-PCC的标准技术对象。
• 基于几何的点云压缩（G-PCC）计划于2020年1月达到FDIS阶段。
• 这两个PCC标准采用不同的技术并针对不同的应用领域：娱乐和汽车/无人驾驶飞行器。

字体编码

在字体编码区域，MPEG正在研究MPEG-4第22部分。

• MPEG-4 ISO / IEC 14496视听对象的编码是一个34部分标准，可以在固定和移动网络上大规模使用媒体。
• Open Font Format的第1修正案将支持复杂的布局和新的布局功能。FDAM阶段将于2020年4月达成。

基因组编码

MPEG-G ISO / IEC 23092基因组信息表示是与TC 276 Biotechnology合作开发的标准，用于压缩含有来自高速测序仪的DNA读取的文件。

在Genome编码区，MPEG计划在2019年1月实现第2部分基因组信息表示的FDIS阶段。MPEG已经开始研究将受益于标准化的其他基因组编码区域。

神经网络编码

神经网络压缩是一种探索，其动机是在许多应用中越来越多地使用神经网络，这些应用需要将特定训练的网络实例部署到可能具有有限处理能力和存储器的大量设备。

在神经网络编码领域，MPEG于2018年7月发布了一份证据征集(CfE)，评估了2018年10月收到的答复，并收集了证据证明2018年10月同一会议上发出的征集建议书是合理的。CfE的目标是使MPEG了解减少训练神经网络大小的技术。征集反馈将于2019年3月到期。由于未来可能会发布更多CfE以用于其他功能（如增量表示），因此尚未确定FDIS的预期时间。

媒体描述

媒体描述是MPEG-7标准的目标，其包含用于描述媒体的技术，例如用于搜索媒体的目的。

在媒体描述区域，MPEG已于2018年10月完成了第15部分用于视频分析的压缩描述符（CDVA）。通过利用视频的时间冗余，CDVA提取单个紧凑描述符，表示视频剪辑而不是单个帧，这是目标用于视觉搜索的紧凑描述符（CDVS）。

该领域的工作继续完成参考软件和一致性。

系统支持

在系统支持区域，MPEG正在处理MPEG-4，-B和-I。在MPEG-I中MPEG正在发展：

• 第6部分 - 沉浸式媒体指标，指定用于增强沉浸式媒体质量和体验的指标和度量框架。3DoF + Visual元数据将成为该标准的一个组成部分
• 第7部分 - 沉浸式媒体元数据，它指定了沉浸式视频（包括360°视频），图像，音频和定时文本的普通沉浸式媒体元数据。

这两个部分计划于2020年7月达到FDIS阶段。

知识产权管理与保护

在IPMP领域，MPEG正在开发一项修订，以支持每个样本的多个密钥。FDAM阶段计划于2019年3月实现。请注意，IPMP不是_defining_，而是_employing_安全技术与数字媒体。

传输

在传输领域，MPEG正致力于MPEG-2，-4，-B，-H，-DASH，-I，-G和新的探索。

• MPEG-2 ISO / IEC 13818运动图像和相关音频信息的通用编码是启用数字电视的标准。

第2部分系统仍然是一个非常活跃的工作领域。在制作第7版之后，MPEG正在进行两项修订，以承载两种不同类型的内容：

• JPEG XS（低延迟应用程序的JPEG标准）
• CMAF（MPEG应用格式）
• MPEG-4 第12部分基于ISO的媒体文件格式是另一个非常活跃的工作领域。

值得一提的是两个修正案：

• Compact Sample-to-Group，新的轨道功能和其他改进 - 已于2018年10月达到FDAM阶段
• Box relative data addressing - 预计将于2019年3月到达FDAM。第7版的MP4文件格式的版本正在等待出版。
• MPEG-B ISO / IEC 23001 MPEG系统技术是系统标准的集合，不是特定于给定标准的。

在MPEG-B中，MPEG正在制定两个新标准：

• 第14部分的部分文件格式将提供一种标准机制，用于在广播应用程序中存储HTTP实体和部分文件，以用于以后的缓存填充。该标准计划于2020年4月达到FDIS阶段。
• 第15部分ISOBMFF中的Web资源的运输将使用包括叠加在内的同步，动画，交互式Web数据来丰富音频/视频内容以及纯音频内容。该标准计划于2019年1月进入FDIS阶段。
• MPEG-H ISO / IEC 23008异构环境中的高效编码和媒体传输是视听压缩和异构传输的15部分标准。
• 第10部分MPEG媒体传输FEC代码正在通过基于窗口的FEC代码进行修正。FDAM预计将在2020年1月达成。
• MPEG-DASH ISO / IEC 23009 HTTP上的动态自适应流传输（DASH）是在不可预测的比特率传送信道上传送媒体的标准。
• MPEG-DASH MPEG正在努力：
• 第1部分媒体演示文稿描述和段格式正在通过设备信息和其他扩展修订进行增强。FDAM计划于2019年7月达成。
• 第7部分使用DASH 传送CMAF内容包含使用DASH推荐一些最受欢迎的CMAF内容传送方案的指南。TR计划于2019年3月达成。
• MPEG-I 2017年10月发布的第2部分全向媒体格式（OMAF）是第一种提供全向内容的标准格式。由于OMAF的OMAF第二版交互支持计划于2020年1月到达FDIS，因此MPEG大大扩展了OMAF的功能。未来版本可能会增加3DoF+功能。
• MPEG计划于2019年1月实现第1部分基因组信息传输和存储的FDIS阶段。
• 应用格式(Application Format) MPEG-A ISO / IEC 23000多媒体应用格式是MPEG和其他标准组合的一套标准（当没有合适的MPEG标准满足时）。

MPEG正在制定两个新标准：

• 第21部分视觉识别管理应用程序格式将提供一个框架，用于管理出现在用户之间共享的图片或视频上的用户的隐私。FDIS预计将于2019年1月达成。
• 第22部分多图像应用格式（MIAF）将在创建，读取，解析和解码嵌入在HEIF（MPEG-H第12部分）中的图像时实现精确的互操作性点。

应用程序编程接口

应用程序编程接口区域包括为了有效使用某些MPEG标准而开发的标准。在API领域，MPEG正致力于MPEG-I，MPEG-G和MPEG-IoMT。

MPEG-I

MPEG正致力于第8部分基于网络的媒体处理（NBMP），该框架将允许用户描述由网络执行的媒体处理操作。该标准预计将于2020年1月达到FDIS阶段。

MPEG-G

MPEG正致力于第3部分基因组信息元数据和应用程序编程接口（API）。该标准预计将于2019年3月达到FDIS阶段。

MPEG-IoMT ISO / IEC 23093 Media of Media Things是一套支持Media Thing（MThing）概念的标准，即能够感知和/或作用于物理或虚拟对象的东西，可能连接形成复杂的分布式系统媒体事物互联网（IoMT），其中MThings与他们和人类互动。

在MPEG-IoMT中，MPEG正在开发中：

• 第2部分IoMT发现和通信API。
• 第3部分IoMT媒体数据格式和API。

预计两者都将在2019年3月达到FDIS阶段。

媒体系统

Media Systems包括针对体系结构和框架的标准或技术报告。

在Media Systems中，MPEG正在开发第1部分IoMT架构，预计将于2019年3月到达FDIS阶段。该标准中使用的架构与JTC1/SC 41开发的IoT架构兼容。

参考实施

MPEG正致力于开发MPEG-4，-7，-B，-V，-H，-DASH，-G，-IoMT参考软件的10个标准

一致性

MPEG正致力于开发符合MPEG-4，-7，-B，-V，-H，-DASH，-G，-IoMT的8个标准。

结论

简要的概述也充分体现了MPEG生态系统中持续30年的互动复杂性（上述内容仅代表上次中国澳门会议中发生事情的一部分）。

参考资料

http://blog.chiariglione.org/life-inside-mpeg/