MPEG标准概览(续)

引言

接着“MPEG标准概览”，本文将继续简要介绍其余11个MPEG标准，包括那些仍在开发中的标准。图中黄色部分表示近几年没有对该部分开展的工作。

图1 总计22个MPEG标准。带颜色的部分将在本文涉及

MPEG-MAR

当MPEG开始开发增强现实应用程序格式(ARAF)时，同时还开始了一个称为增强现实参考模型的规范。后来，MPEG意识到ISO/IEC JTC 1/SC 24的计算机图形学、图像处理和环境数据表示正在进行类似的工作，于是与它们联合开发了一个称为混合和增强现实参考模型（MAR）的标准。

在该标准中，现实世界和虚拟对象的表示以各种形式组合。该标准可以用来：

1. MAR应用程序或服务的设计。考虑到给定的应用程序/服务需求，设计人员可以从MAR模型体系结构中指定的组件中引用和选择所需的组件。
2. MAR商业模式的开发。价值链和参与者在标准中被标识，实现者可以将它们映射到自己的业务模型或创建新的业务模型。
3. 扩展现有的或创建新的MAR标准。MAR是跨学科的，为扩展现有技术解决方案和标准创造了大量的机会。

MAR-RM和ARAF很好地说明了MPEG标准与“常规”IT标准之间的差异。 MPEG定义了接口和技术，而IT标准通常定义了体系结构和参考模型。这就解释了为什么ISO收到的大多数专利声明都与MPEG标准有关。值得注意的是，在开发标准的6年中，MPEG开发了3个ARAF标准版本。

图2 MAR参考系统架构

来自现实世界的信息可以直接或在“理解”之后进入MAR Engine。Engine还可以访问媒体资源或外部服务，所有信息由其处理，然后输出其处理结果并管理与用户的交互。

基于此模型，该标准详细阐述了包括参与者类、角色、业务模型、成功标准的商业视角，具有组件级功能的计算视角和组件之间数据通信的信息视角。

MPEG-M

多媒体服务平台技术(MPEG-M)指定了多媒体设备的两个主要组件，在MPEG-M中称为peer。如图3所示，第一个组件是API：用于应用程序的高级API和用于网络、能源和安全的低级API。

图3 MPEG-M中的高级和低级API

第二个组件是一个称为MXM的中间件，它特别依赖于MPEG多媒体技术：

图4 MXM体系结构

中间件由两种类型的引擎组成。技术引擎用于调用MPEG标准定义的功能，例如创建或解释附加到内容项的许可证。协议引擎用于与其他peer通信，例如，在一个peer没有其他peer具有的特定技术引擎的情况下。又例如，对等方可以使用协议引擎访问许可证服务器，以获得附加到多媒体内容项的许可证。MPEG-M中间件能够创建技术引擎链或协议引擎链。

MPEG-M由以下5部分组成：

第1部分，体系结构，指定了图3中的体系结构、高级和低级API

第2部分，MPEG可扩展中间件(MXM) API，指定了图4中的API

第3部分，一致性和参考软件

第4部分，基本服务，指定协议引擎提供的基本服务

第5部分，服务聚合，指定如何聚合基本服务。

MPEG-U

MPEG-U标准的发展是由用户界面的发展推动的。用户界面集成了先进的富媒体内容，如2D / 3D动画和视频/音频剪辑以及其他小部件。这些是嵌入在Web页面中的独立应用程序，依赖于Web技术（HTML，CSS，JS）或同等技术。

凭借MPEG-U标准，MPEG寻求在不同设备上具有通用UI，包括电视，电话，桌面和网页等。因此，MPEG-U将W3C建议扩展到：覆盖非Web域（家庭网络，移动，广播）；支持MPEG媒体类型（BIFS和LASeR）和传输（MP4 FF和MPEG-2 TS）；使用受限制的配置文件启用窗口小部件通信（无脚本）。MPEG-U架构如图5所示。

图5 MPEG-U架构

图6 DLNA环境中用于TV的MPEG-U

MPEG-U由以下3部分组成：

第1部分，小部件

第2部分，附加手势和多模式互动

第3部分，一致性和参考软件

MPEG-H

异构环境中的高效编码和媒体传输（MPEG-H）是一种集成标准，它恢复了原始的MPEG“一分为三”（系统、视频、音频）的方法。在成立标准之后，这3个部分实际上是独立使用的。另一方面，ATSC已采用完整的系统、视频、音频三元组，并具有自己的扩展。

MPEG-H有15个部分，如下所示：

第1部分，MPEG媒体传输（MMT）是新的广播解决方案，其中内容的传递可以在不同的信道上进行，每个信道具有不同的特性，例如，单向（传统广播）和双向（更普遍的宽带网络）传输。MMT假定互联网协议对所有渠道都是通用的。

第2部分高效视频编码（HEVC）是最新批准的MPEG视频编码标准，支持一系列功能：可扩展性，多视图，从4：2：0到4：4：4，最高16位，更宽的色域、高动态范围和屏幕内容编码。

第3部分3D Audio是最新批准的音频编码标准，支持增强的3D音频体验

第4、5、6部分用于MMT，HEVC和3D音频的参考软件

第7、8、9部分MMT，HEVC和3D音频的一致性测试

第10部分，MPEG媒体传输FEC代码规定了MMT使用的几个前向纠错码。

第11部分，MPEG组合信息指定扩展到HTML 5以与MMT一起使用

第12部分，图像文件格式指定单个图像和图像序列的文件格式

第13部分，MMT实施指南收集有关MMT使用的有用指南

第14部分，高动态范围和宽色域视频的转换和编码实践

第15部分，HDR / WCG视频的信令，向后兼容和显示适配是指导用户支持HDR / WCC的技术报告。

MPEG-DASH

HTTP上的动态自适应流传输（DASH）是一套标准，其用于使用HTTP基础设施（特别是服务器和CDN，以及代理，缓存等）高效且轻松地传输多媒体。开发DASH的原因是HTTP流的流行以及不同流媒体平台中使用着不同的协议。

通过为多媒体内容的HTTP流式传输开发DASH标准，MPEG使基于标准的客户端能够从任何基于标准的服务器流式传输内容，从而实现服务器与不同供应商的客户端之间的互操作性。

如图7所示，多媒体内容以两个组件存储在HTTP服务器上：1）媒体呈现描述（MPD），其描述可用内容的清单，其各种替代方案，其URL地址和其他特征，以及2）包含块的形式的实际多媒体比特流的段，在单个或多个文件中。

图7 DASH模型

目前DASH由8个部分组成：

第1部分，媒体呈现描述和片段格式，其指定1）媒体呈现描述（MPD），其为DASH客户端提供足够的信息以通过从HTTP服务器下载媒体片段来自适应地流传输内容，以及2）指定的片段格式发出HTTP GET请求或部分HTTP GET时请求响应的实体主体的格式。

第2部分，一致性和参考软件，MPEG标准的常规组件

第3部分，实施指南，为实施者提供指导

第4部分，段加密和验证，其指定DASH段的加密和验证

第5部分，服务器和网络辅助的DASH，指定了与质量相关的辅助信息的异步网络到客户端和网络到网络的通信

第6部分，带服务器推送和WebSockets的DASH，通过全双工HTTP兼容协议指定了MPEG-DASH媒体演示，包括HTTP / 2和WebSockets

第7部分，使用DASH传送CMAF内容，指定了DASH如何携带公共媒体应用格式指定的内容

第8部分，基于会话的DASH操作，将指定MPD管理服务器的DASH会话的方法，以指示客户端在会话期间连续应用的某些操作。

MPEG-I

沉浸式媒体的编码表示（MPEG-I）代表了当前MPEG为支持沉浸式媒体产品、服务和应用开发一套标准的努力。

目前MPEG-I有11个部分，但未来可能会添加更多部分：

第1部分，沉浸式媒体架构概述了沉浸式媒体服务的可能架构。

第2部分，全向媒体格式指定一种应用程序格式，可以使用全向视频（也称为视频360）。其版本2正在开发中。

第3部分，沉浸式视频编码将指定新兴的多功能视频编码标准

第4部分，沉浸式音频编码将指定元数据，以便与MPEG-H 3D音频相比，实现增强的沉浸式音频体验

第5部分，基于视频的点云压缩将指定压缩密集静态和动态点云的标准

第6部分，沉浸式媒体指标将指定对沉浸式媒体服务及其可测量性有用的不同参数

第7部分，沉浸式媒体元数据将指定用于沉浸式体验的系统，视频和音频元数据，例如3DoF +视频活动

第8部分，基于网络的媒体处理将指定用于访问远程媒体处理服务的API

第9部分，基于几何的点云压缩将指定压缩稀疏静态和动态点云的标准

第10部分，点云数据的载运将指定如何容纳MP4文件格式的压缩点云

第11部分，基于网络的媒体处理实施指南是通常的指南集

MPEG-CICP

编码独立的代码点（MPEG-CICP），它们是已在单个媒体或技术标准中进行组合了的代码，因为它们不是标准特定的。其包含4部分：系统、视频、音频和视频信号类型代码点的使用。

MPEG-G

基因组信息表示（MPEG-G）是与TC 276 Biotechnology联合开发的一套规范，可以减少从高速测序仪无损存储和传输DNA读取所需的信息量。

图8 MPEG-G压缩

可以使用以下操作创建MPEG-G文件：

1. 将读取输入文件（对齐或未对齐）放入对应于参考基因组区段的区间中
2. 将每个bin中的读数分为6类：P（与参考基因组完全匹配），M（用变体读取）等
3. 将每个bin的读取转换为特定于该类的18个描述符的子集：例如，类P描述符是读取的起始位置等。
4. 将描述符放在矩阵的列中
5. 压缩每个描述符列（MPEG-G使用已经存在于几个视频编码标准中的非常高效的CABAC压缩器）
6. 将一类bin的压缩描述符放入访问单元（AU）中，每个bin最多6个AU

MPEG-G目前包括6个部分：

第1部分，基因组信息的传输和存储指定文件和流格式

第2部分，基因组信息表示法指定了从高速测序仪压缩DNA读数的算法

第3部分，基因组信息元数据和应用程序编程接口（API）指定用于访问MPEG-G文件的元数据和API

第4部分，参考软件

第5部分，一致性

第6部分，基因组注释表示将指定如何压缩注释。

MPEG-IoMT

媒体物联网（MPEG-IoMT）是一套规范：

1. 用于发现Media Things的API
2. 数据格式和API，以实现Media Things之间的通信。

其中Media Thing（MThing）是多媒体版本的IoT’s Thing。IoMT参考模型如图9所示。

图9 MPEG中的IoT——IoMT

目前MPEG-IoMT包括4个部分：

第1部分，IoMT架构将指定架构

第2部分，IoMT发现和通信API指定了发现和通信API

第3部分，IoMT媒体数据格式和API指定媒体数据格式和API

第4部分，参考软件和一致性是MPEG标准的通常部分

MPEG-5

通用视频编码（MPEG-5）预计包含视频编码规范。目前设想了两种标准：

第1部分，基本视频编码（EVC）应该是具有两层的视频编解码器的规范。第一层标准相对于AVC有显着改善，但又差于HEVC；第二层将明显优于HEVC，但又差于VVC。

第2部分，低复杂度增强视频编码（LCEVC），预期是由两个分量流定义的数据流结构的规范，基本流可由硬件解码器解码，增强流可由软件解码处理。增强流将提供新功能，例如对现有编解码器的压缩功能扩展，更低的编码和解码复杂性，用于按需和实时流应用。 LCEVC解码器如图10所示。

图10 低复杂度增强视频解码器

That’s all?

目前，MPEG正在研究以下内容：

1. 提前发送MPEG容器内容的信号，有时候用户无法获取一个文件的全部内容，但其需要决定是否要取回该文件。因此用户需要有足够的信息来确定它是否能够播放整个内容还是仅能播放部分内容。
2. 数据压缩，继续探索可以从MPEG压缩专业知识中受益的非典型媒体领域。目前，MPEG正在研究机床的数据压缩。
3. 基于MPEG-21的智能合约，正在研究将MPEG-21合约技术（可以是人类可读的）转换为智能合约以在区块链上执行的好处。