MPEG 第 137 次会议进展

原标题：137th meeting of MPEG 原作者：Martin Benjak 原文链接：https://www.mpegstandards.org/137th-meeting-of-mpeg/ 翻译整理：徐鋆

MPEG 第 137 次会议于 2022-01-17 至 2022-01-21 在线举行。

MPEG 系统组再获两项技术与工程艾美奖

MPEG 系统组高兴地报告，MPEG 今年被美国国家电视艺术与科学学院（NATAS）授予两项技术与工程艾美奖，分别是（i）“用于网络和电视设备的定制下载字体和排版的字体技术的标准化”和（ii）“HTTP 封装协议的标准化”。

前一个奖项与 MPEG 的开放字体格式（ISO/IEC 14496-22）有关。字体是任何书面通信的关键组成部分。文字承载着意义，但正是字体使文字具有可读性，也就是说，字体使书面文字具有形象。在过去的 20 年里，MPEG 对开放字体格式技术的标准化极大地影响了各类消费电子设备的能力，为数字电视、流媒体环境和网络带来了先进的字体技术。它还激发了许多开源项目，使高质量的字体渲染和先进的文本支持得以大规模采用，使高质量的字体支持对于 OEM、服务提供商和内容作者来说变得简单和具有成本效益，以部署支持世界上所有语言和书写系统的新功能和应用。

后一个奖项与 MPEG 动态自适应 HTTP 流（即 MPEG DASH，ISO/IEC 23009）有关。MPEG DASH 标准是唯一商业化部署的 HTTP 媒体流的国际标准技术，它被广泛用于许多产品中。2012 年，MPEG 与 3GPP 合作开发了 DASH 标准的第一版，此后又开发了四个版本，通过增加新的特性和扩展功能来修正核心规范。此外，MPEG 还开发了其他六个标准，作为 ISO/IEC 23009 的附加“部分”，使 MPEG DASH 标准与参考软件和一致性测试工具、指南以及其他部署场景的增强功能得到有效利用。MPEG DASH 通过提供一个被 3GPP、ATSC、DVB 和 HbbTV 等不同联盟和不同领域广泛采用的标准，极大地改变了流媒体行业。这一标准的成功归功于其卓越的技术，行业对其开发的大量参与，解决了市场需求，并在 ISO/IEC JTC 1/SC 29 MPEG 系统的标准开发实践和领导下，与行业的所有部门合作。

“感谢美国国家电视艺术与科学学院（NATAS）对 ISO/IEC JTC 1 中媒体编码专家的杰出贡献的认可。他们的工作大大扩展了 MPEG 标准化的好处”。Philip C. Wennblom，ISO/IEC JTC 1 的主席如是说。

“在 2022 年获得两项技术与工程艾美奖，这是对 SC 29 中 MPEG 系统组工作的巨大认可。MPEG 开放字体格式和 DASH 标准已在业界得到非常广泛的采用，并已成为当今电视和基于网络的多媒体服务的互操作性的基础。”Gary J. Sullivan，ISO/IEC JTC 1/SC 29 主席如是说。

“MPEG 系统一直在坚持不懈地努力，与主要的行业参与者和其他标准开发组织合作，对行业需求作出回应。今年，MPEG 开放字体格式和 DASH 标准获得了两项技术与工程艾美奖，显示了这种努力的巨大成功和业界的认可。”MPEG 系统组召集人 Youngkwon Lim 如是说。

这是 MPEG 的第五和第六个技术与工程艾美奖（继 1996 年 MPEG-1 和 MPEG-2 与 JPEG、2008 年AVC、2013 年 MPEG-2 TS 流和 2021 年 ISO 基础媒体文件格式之后），也是 MPEG 的第七和第八个总体艾美奖（包括 2008 年 AVC High Profile 和 2017 年 HEVC 的黄金时段工程艾美奖）。

MPEG 音频编码为 MPEG-I 沉浸式音频选择 6DoF 技术

此前，MPEG 于 2021 年 4 月发布了一项关于 6DoF 沉浸式音频技术的提案征集（CfP），用于增强虚拟现实（VR）和增强现实（AR）体验。在第 137 次 MPEG 会议上，对提交给该 CfP 的材料进行了审查，并对技术进行了选择。在世界各地的 12 个测试点进行的三次主观 VR/AR 听觉测试中，对 14 份提交的材料进行了评估，作为选择的基础。

在 CfP 中选择的技术允许用户拥有 VR 或 AR 体验，其中用户可以使用 6 个自由度（6DoF）自由浏览并与虚拟环境互动，从而实现无约束的空间运动和用户旋转。渲染的音频信号可以使用音频对象、通道和 Higher Order Ambisonics（HOA）的多种格式。VR/AR 环境（场景）在比特流中被编码，MPEG-I 沉浸式音频技术根据传输和解码的场景向用户的耳机渲染双耳音频信号，并实现丰富的音频效果，如方向性、定位、范围、闭塞、声源的衍射和多普勒位移，以及声学环境的复杂建模。支持广泛的用户与 VR/AR 环境的互动。

预计该标准将在 2023 年 1 月进入其审批过程的第一个正式阶段，即委员会草案（CD），2023 年 4 月的国际标准草案（DIS），以及 2023 年 10 月的国际标准（IS）。

MPEG 需求组发布关于编码器和打包器同步的提案征集活动

在第 137 次 MPEG 会议上，MPEG 需求组（WG 03）发布了一项提案征集令（CfP），征集实现编码器和打包器同步以及相关的分布式媒体资产存储的技术。

编码器和打包器同步框架将根据现有的 MPEG 标准，如通用媒体应用格式（CMAF）、MPEG 动态自适应 HTTP 流（DASH），以及潜在的其他标准和规范，定义从分布式来源生成内容的首选方式。这将使冗余的直播和（视频点播）VoD 内容生成设置能够产生同步的内容，对设置中的一个或多个组件的故障和输入损失具有很强的稳定性。此外，我们还征集了大规模存储媒体资产的解决方案。资产存储解决方案将实现直播到视频和视频到直播的用例，并利用同步编码器/打包器框架。

这个 CfP 要求公司和其他组织提出建议。要求在 2022 年 4 月 10 日前注册，2022 年 4 月 17 日前提交。在 2022 年 4 月举行的第 138 次 MPEG 会议上，将对响应 CfP 的提交材料进行评估。

请已经开发了编码器同步和媒体存储技术的公司和组织通过联系 MPEG 系统组召集人 Youngkwon Lim 博士（yklwhite@gmail.com）或 MPEG 需求组召集人 Igor Curcio 博士（igor.curcio@nokia.com），将这些信息作为对该 CfP 的响应。

MPEG 系统组推动 MPEG-I 场景描述进入最后阶段

在第 137 次 MPEG 会议上，MPEG 系统组（WG 03）完成了 MPEG-I 场景描述标准，这是实现沉浸式 3D 用户体验的一项关键技术，将其作为最终国际标准草案（FDIS）推进到最终批准阶段。该规范通过引用和定位场景中的不同媒体资产来描述 3D 场景的构成。场景描述中提供的信息随后被应用程序用来渲染相应的三维场景。为了满足沉浸式应用的需要，该规范为 Khronos glTF 2.0 开发了 MPEG 扩展，这是一个被业界广泛使用的场景描述解决方案。glTF 2.0 为可交换和可互操作的场景描述提供了一个坚实有效的基准，可以实现沉浸式内容的现实渲染，例如通过使用基于物理的渲染（PBR）。然而，glTF 2.0 主要是为静态场景和资产而设计的，它不能完全满足沉浸式环境中动态和丰富的 3D 场景的要求和需要。

基于这一分析，MPEG 对 Khronos 的 glTF 2.0 进行了扩展，以整合实时媒体，即支持动态视觉对象、音频、场景的定时更新和媒体访问相关功能。该标准还定义了一个架构，通过指定相关的 API 来访问场景描述所引用的媒体，将媒体渲染与媒体访问解耦。这项工作一直在与 Khronos 和 3GPP 协调。进一步的细节可以在 http://mpeg-sd.org/。

MPEG 系统组推动媒体智能合约进入最后阶段

在过去几年中，MPEG 开发了一套标准化的资源描述框架（RDF）本体和 XML 模式，用于编纂与音乐和媒体有关的知识产权（IP）信息。ISO/IEC 21000-19 媒体价值链本体（MVCO）通过捕捉用户角色及其对特定 IP 实体的允许行为，为公平、及时和透明的市场交易提供权利跟踪。ISO/IEC 21000-21 媒体合同本体（MCO）促进了叙述性合同向与知识产权管理、支付和通知有关的数字合同的转换。关于后者，XML 模式已被开发为 ISO/IEC 21000-20 合同表达语言（CEL）。

在第 137 次 MPEG 会议上，MPEG 系统组（WG 03）完成了 ISO/IEC 21000-23 媒体智能合约的开发，将该标准推进到最终国际标准草案（FDIS）阶段，这是开发标准的最后批准里程碑。该标准规定了将上述 RDF 本体和 XML 模式转换为可在现有分布式账本技术（DLT）环境中执行的智能合约的手段（如应用编程接口）。这一重要标准将极大地帮助音乐和媒体行业及其利益相关者实现有效的互操作性，以便在不同的 DLT 环境之间交换经过验证的合同数据。这样，它将增加利益相关者之间的信任，以便在生态系统中共享高价值的数据（如音乐版权）。该标准的另一个重要特点是，它提供了通过持久性链接将智能合同的条款与人类可读合同的相应条款绑定的可能性。这样，签署符合 ISO/IEC 21000-23 标准的智能合约的每一方都能准确地知道其条款所表达的内容。

MPEG 系统组进一步加强了 ISOBMFF 标准

在第 137 次 MPEG 会议上，MPEG 系统组（WG 03）在其最近获得艾美奖的标准 ISO/IEC 14496-12 ISO 基础媒体文件格式（ISOBMFF）修正案的批准过程中达到了第一个正式的里程碑，该修正案包括改进的品牌文件和其他改进。ISO/IEC 14496-12:2021 修正案 1 的委员会修正草案（CDAM）包括通过使用外部基本流为作为主流存储的基本流的解码提供帧间预测参考来增强 ISOBMFF 中存储的媒体的随机访问，支持所谓的扩展依赖随机访问点（EDRAPs）。此外，该修正案提供了一种方法，以列出代表一个版本的媒体演示的（一个或多个）媒体组件的集合，这些组件可由用户选择用于同步解码和演示。该修正案还澄清了文件类型框中主要品牌和兼容品牌的使用，为定义 ISOBMFF 的新品牌标识提供了指南。该修正案预计将在 2023 年初作为最终修正案草案（FDAM）达到其最终批准的里程碑。

MPEG 视频编码组完成了 LCEVC 的一致性和参考软件

在第 137 次 MPEG 会议上，MPEG 视频编码组（WG 04）完成了低复杂度增强视频编码（LCEVC）的一致性和参考软件标准（ISO/IEC 23094-3）的制定，并将其推进到国际标准最终草案（FDIS）阶段，以便最终批准和出版。

该标准化将帮助 LCEVC 的实施者在开发产品的过程中检查其实施的正确功能。这些测试还将帮助 LCEVC 产品的用户和潜在用户，提供一种方法来验证这些产品的一致性声明。因此，这种测试将帮助社区实现编码器和解码器产品的互操作性，并将鼓励 LCEVC 的采用和使用。

LCEVC 增加了一个增强型数据流，通过建立在现有和未来的视频编码格式之上，可以明显改善重建视频的分辨率、比特深度和视觉质量，并具有有限的编码和解码复杂性的有效压缩效率。它被设计为与现有的视频工作流程（如 CDN、元数据管理和 DRM/CA）和流媒体/媒体格式（如 DASH 和 CMAF）兼容，以促进增强型视频服务的快速部署。LCEVC 可用于在有限的带宽情况下提供更高的视频质量，特别是当可用的比特率对于高分辨率视频编码和传输来说相对较低时，或者当解码的复杂性是一个挑战时。

MPEG 视频编码组发出 MPEG 沉浸式视频的一致性和参考软件的委员会草案

在第 137 次 MPEG 会议上，MPEG 视频编码组（WG 04）推动其 MPEG 沉浸式视频（MIV）一致性和参考软件标准（ISO/IEC 23090-23）进入委员会草案（CD）阶段，这是其审批过程的第一个正式里程碑。该文件规定了如何进行一致性测试，并为 ISO/IEC 23090-12 MPEG 沉浸式视频提供了参考编码器和解码器软件。该草案包括 18 个经过验证和确认的一致性比特流以及基于 MPEG 沉浸式视频测试模型（TMIV）12.0 版本的编码和解码参考软件。该测试模型、客观指标和其他一些工具可在https://gitlab.com/mpeg-i-visual。

MIV 的开发是为了支持对沉浸式视频内容的压缩，其中一个真实或虚拟的三维场景是由多个真实或虚拟摄像机拍摄的。该标准能够在现有和未来的网络上存储和分发沉浸式视频内容，以 6 个自由度（6DoF）的视角位置和方向进行播放。MIV 是一个灵活的深度多视角视频（MVD）标准，利用对常用视频格式的强大硬件支持来编码体积视频。视图可以使用等角、透视或正射投影。通过修剪和包装视图，MIV 可以使用高效视频编码（HEVC）实现约 15 至 30Mb/s 的比特率，以及相当于 HEVC 5.2 级的像素率。除了用于 MVD 的 MIV 主配置文件外，还有 MIV 几何缺失配置文件，它适用于基于云和解码器端的深度估计，以及 MIV 扩展配置文件，它可以对多平面图像（MPI）进行编码。MIV 标准被设计为对基于视觉体积的视频编码和基于视频的点云编码（ISO/IEC 23090-5）标准的一组扩展和配置文件限制，其一致性比特流涵盖了所有指定的配置文件。

除了一致性测试，MIV 的验证测试工作也在进行中，MIV 的传输是通过 V3C 数据的传输标准（ISO/IEC 23090-10）规定的。MPEG 需求组（WG 02）将发布 MIV 第二版的最终用例和要求，这将是 MIV 标准的演变，MPEG 联络和通信组（AG 3）将发布关于 MIV 的白皮书（如下文进一步讨论）。

JVET 制作了 VVC 和 VSEI 的第二版，并最终确定了 VVC 参考软件

在第 137 次 MPEG 会议上，MPEG 联合视频编码小组与 ITU-T SG 16（WG 05；JVET）完成了通用视频编码（VVC，ISO/IEC 23090-3 | ITU-T H.266）和用于编码视频比特流的多功能补充增强信息（VSEI，ISO/IEC 23002-7 | ITU-T H.274）第二版的开发，将它们提升到最终国际标准草案（FDIS）状态，以便最终批准和出版。新的 VVC 版本定义了支持更大比特深度（高达 16 比特）的配置文件和级别，包括一些低级别的编码工具修改，以获得在高比特率下高比特深度视频的改进压缩效率。VSEI 第 2 版增加了 SEI 信息，对可扩展性、多视图、显示适应性、改进的流访问和其他用例给予额外支持。此外，还发布了 VVC 下一个修正案的委员会草案（CDAM），以开始正式批准程序，使 VVC 与绿色元数据（ISO/IEC 23001-11）和视频解码接口（ISO/IEC 23090-13）标准联系起来，并为特别高能力的应用（如专业、科学和医疗应用场景中的某些用途）增加一个新的无约束级别。最后，VVC（ISO/IEC 23090-16）的参考软件包也已完成，获得了 FDIS 状态。参考软件对 VVC 设备的开发者非常有帮助，帮助他们测试他们的实现是否符合视频编码规范。

JVET 推动 AVC 第十版成为国际标准最终草案

在第 137 次 MPEG 会议上，MPEG 联合视频编码小组与 ITU-T SG 16 (WG 05；JVET)敲定了第十版高级视频编码（ISO/IEC 14496-10 | ITU-T H.264），将其作为最终国际标准草案（FDIS）发布，供最后批准和出版。除了各种文本改进之外，该标准还规定了一个新的 SEI 信息，用于描述视频捕获期间应用的快门间隔。这在摄像机中可能是可变的，传达这一信息对分析和解码视频的后处理很有价值。

JVET 将 HEVC 扩展到 16K 及以上的高能力应用上

在第 137 次 MPEG 会议上，MPEG 联合视频编码小组与 ITU-T SG 16 (WG 05；JVET)开始了高效视频编码（HEVC，ISO/IEC 23008-2 | ITU-T H.265）新的第二个修正案的批准过程，发布了委员会修正案草案（CDAM），定义了新的级别和层级，支持极高的比特率和高达 16K 的视频分辨率，并定义了一个无约束级别。这将使 HEVC 在新的应用领域得到应用，包括专业、科学和医疗视频领域。

MPEG 基因编码组评估对新的先进基因组学特征和技术的答复

高通量 DNA 测序技术的广泛使用实现了被称为“精准医疗”的新医疗方法，以及许多其他新兴的应用，如监测农业和食品工业中爆发的演变和病原体监测。DNA 测序技术产生了极其大量的异质数据，包括原始序列读数、分析结果、注释和相关的元数据，这些数据存储在全球不同的存储库中，数据的使用需要通过标准化和互操作的格式来实现。需要对这些基因组数据进行结构化和高性能的压缩，以减少存储量，提高传输速度，并改善这些大型数据集的浏览和搜索性能，这是各种应用和用例的要求。目前的 MPEG-G 标准系列（ISO/IEC 23092）解决了基因组测序数据的表示、索引、压缩和传输问题，支持注释数据和搜索能力。ISO/IEC 23092（MPEG-G）标准系列提供了一个文件和传输格式、压缩技术、元数据规范、保护支持和标准API，用于访问本地压缩格式的基因组数据和注释数据。

在第 134 次 MPEG 会议上，MPEG 基因编码组（WG 06）曾发布了一个提案征集通知（CfP），以收集改进 ISO/IEC 23092 标准系列的当前压缩、传输和索引能力的新技术提交。

现在，在第 137 次 MPEG 会议上，MPEG 基因编码组（WG 08）评估了提交的对 CfP 的回应，解决了图形基因组参考的表示和使用，以及与现有的临床数据交换标准的支持接口。初步评估结果表明，将图形基因组参考的本地表示方法纳入 MPEG-G 标准是可取的，并将为扩展支持基因组测序数据的使用情况提供新的、先进的和有效的表示能力。关于支持与现有临床数据交换标准（HL7 和 FHIR）的接口，收到的答复表明，这种扩展对于 MPEG-G 数据有效地整合到临床工作流程中是可取的，并显示了实现这种整合的标准化路径。

MPEG 白皮书

在第 137 次 MPEG 会议上，MPEG 联络和通信组（AG 03）批准了以下三份 MPEG 白皮书。

神经网络编码（NNC）

人工神经网络已被用于几乎所有技术领域的广泛任务，如医疗应用、运输、网络优化、大数据分析、监控、语音、音频、图像和视频分类、图像和视频压缩等等。它们最近的成功是基于处理比过去更大、更复杂的神经网络（深度神经网络，DNN）的可行性，以及大规模训练数据集的可用性。这种神经网络使用的指数级增长的另一个因素是新用例的出现，如许多设备之间持续通信的联合学习。因此，这需要最高的神经网络压缩能力，以最大限度地减少整体通信流量，并在用于推理时减少网络的大小。因此，神经网络编码（NNC）的标准已经在 ISO/IEC 15938-17 “用于多媒体描述和分析的神经网络压缩”中定义。

低复杂度增强视频编码（LCEVC）

本白皮书对 ISO/IEC 23094-2 低复杂度增强视频编码（LCEVC）进行了概述。该编码格式旨在与现有的视频编码格式结合使用，利用编码器驱动的升采样和特定工具对“残差”进行编码，即原始视频和预测演绎之间的差异。LCEVC 可以提高压缩效率，并通过使用少量专门的增强工具，降低给定分辨率和比特深度编码的整体计算复杂性。本白皮书概述了 LCEVC 的架构、编码工具以及压缩效率的概况。

MPEG 沉浸式视频

由 MPEG 制作的 MPEG 沉浸式视频（MIV）标准已经完成，其最终国际标准草案（FDIS）于 2021 年 10 月发布，供最终批准和出版。MIV 标准的目标是为身临其境的六自由度（6DoF）体积视觉场景提供高效编码。与三自由度（3DoF）的表现形式不同，沉浸式的 6DoF 表现形式提供了一个更大的观看空间，观看者可以自由地进行平移和旋转运动。6DoF 视频还能实现运动视差的感知，即场景几何的相对位置随着观看者的姿势而变化。如果没有 MIV 的 6DoF 功能，3DoF 视频中没有运动视差是不符合人类视觉系统的工作原理的，往往会导致视觉不适。本白皮书对重要的新 MIV 标准作了简要介绍。