沉浸式媒体相关标准进展概述

1. 前言

目前，AR和VR的出现使得人们可以利用技术不断地去改进描述世界的方法。在这个过程中，人们通过多种多样先进的设备，获得前所未有的“沉浸式体验”。所谓的“沉浸式体验”，是指用户被置于不断扩大，接近真实的虚拟世界中心，过滤掉所有不相关的知觉，完全投入情境当中。目前，多个国际组织正致力于沉浸式媒体的标准制定和研究，本文将主要介绍这些组织在VR/AR方面的近期标准进展[1]。

2. IEEE P2048

目前，IEEE标准协会正在为虚拟和增强现实开发一系列标准。下表提供了关于IEEE P2048系列标准工作组的简要描述。在今年上半年，该工作组宣布了针对虚拟现实和增强现实的8个IEEE标准项目，目前已经拓展到12个相关项目。

表中项目将由IEEE虚拟现实和增强现实工作组负责，参与者包括设备制造商、内容提供商、服务提供商、技术开发人员和政府机构等等。目前，VR/AR相关的技术正在以非常快的速度发展，而现有的开发标准仅涵盖了VR/AR领域的小部分，该工作组正全方面努力扩展，以达到满足技术领域的标准化需求。

3. IEEE P3333.3

IEEE P3333.3标准主要的关注点在于头戴式显示器（HMD）的3D内容运动失真问题。该标准组织目前正通过对焦点失真的视觉反应、对镜片材料的视觉反应、对镜片折射率的视觉反应、对帧率的视觉反应等四个方面的研究提供一个用于解决“基于HMD的3D内容运动失真引起的虚拟现实（VR）失真”的技术指导。

图 1. IEEE P3333.3 WG 结构

4. Khronos

在2017年 GDC 大会期间，Khronos Group（科纳斯组织）公布 VR/AR 标准 OpenXR,为VR和AR应用程序定义了一个API。在OpenXR中，应用程序和引擎使用标准化接口来询问和驱动设备，这样设备可以自我集成到一个标准化的驱动程序界面。同时，标准化的硬件/软件接口减少了碎片化，同时保留了实施细节，以鼓励行业创新。

由于不同的公司的系统和设备不同，这就导致了 VR/AR 设备和平台出现各种“分裂”的情况。OpenXR 的目的便是减少开发者们为支持不同设备的 API 而产生的麻烦。如果没有设立标准的 API 接口，各平台间的对接将会非常的繁琐和复杂。有了OpenXR标作为接口标准后，开发者只用写一次代码便能对接各个平台。Khronos 标准可用于增强用户界面，以及智能手机的游戏和应用中3D图形 API 的 OpenGL ES，用于异构并行计算的 OpenCL以及用于 HTML5 的 3D 图形的 WebGL。

图 2. OpenXR通用接口设计

5. WebVR

目前VR市场产品众多，无论在硬件还是内容服务上尚无法形成统一标准。而WebVR的出现，能够让诸多VR头显设备或是VR手机在获取内容的方式上统一。WebVR提出了一个关于VR网络应用的开放性标准，即用户可以直接通过浏览器观看VR内容。在2017年2月，Google已提出在Chrome浏览器上植入WebVR，让VR体验更加便捷，图3为Google的WebVR实验室的设计截图。

图3 Google的WebVR实验室的设计截图

WebVR的优势显而易见。它的开发门槛更低，一个普通web前端工程师就可以参与到VR应用开发中。它的跨平台性更强，可以跨设备终端、跨操作系统以及跨APP载体。其次，WebVR开发快速、维护方便，可以随时进行调整，并且传播更加便捷。最重要的是，使用浏览器即可体验VR，无需安装其他应用。

6. 3GPP

3GPP SA4最近完成了关于虚拟现实（FS_VR）的研究项目，该研究结果被记录在技术报告TR 26.918[2]中。该技术报告中主要包含以下七点：

• 现有的VR音频和视频内容制作工作流程和格式以及渲染
• 一系列涵盖流媒体、会话、用户生成和遗留内容消费VR服务的用例
• 双耳听音条件的音频质量评估
• 视口独立和相关VR流媒体的视频质量评估
• 延迟和VR音频/视频同步
• 网络，内容和设备对VR QoE的影响
• 差距分析和候选解决方案

同时，3GPP SA4启动了以下工作和研究项目：

1.流媒体虚拟现实配置文件（VRStream）的工作项目，其目的是为VR Streaming用例集定义相关的媒体和协议启用者。

2.沉浸式语音和音频服务（IVAS_Codec）的EVS编解码器扩展工作项目，总体目标是开发用于身临其境的4G和5G服务和应用的单一通用音频编解码器。

3.Live Uplink Streaming（FLUS）框架工作项目，其目的是为点对点定义上行链路直播流媒体（例如360视频，VR，UHD，多声道音频）的框架。

4.针对VR音频的3GPP编解码器的研究项目（FS_CODVRA），其目标是评估现有3GPP音频编码能力是否适合启用VR服务，并提供如何使用和配置现有编解码器以提供最佳VR QoE的推荐。

5.关于VR的QoE指标的研究项目（FS_QoE_VR），其目标是调查可能需要由客户端向网络报告以评估VR用户体验的QoE参数和指标。

7. DVB

DVB(数字视频广播)是电视、广播和技术公司的联盟，旨在为数字电视和其他广播技术创建一套开放的技术标准。在虚拟现实(VR)发布报告后，DVB为VR内容设定了新的标准。在2017年年中，DVB VR活动从VR（CM-VR-SMG）的商业模块（CM）研究任务被推广到了CM-VR官方团队。CM-VR的总体目标是提供商业需求，传递给相关的DVB技术模块（TM）小组，根据DVB CM的规定开发针对DVB网络上的VR内容交付的技术规范。

CM-VR首先将重点放在系统上，针对DVB集成式接收器/解码器（IRD）以及下一代IP连接设备，利用DVB宽带和广播网络向广播公司提供VR内容。考虑到现有的技术和现实的部署方案，CM-VR将打算提供“全景/ 3DOF +”的视听体验。

目前，DVB定义了VR在商业上获得成功的三大要素：技术、运动晕眩以及内容，其中技术方面包括制作、传输以及VR显示。

由于VR技术的规模和复杂性，DVB在第一阶段将研究VR和360度VR设备的体验，第二阶段将考察更为复杂的VR设备领域。CM-VR的目标是能够获得CES2018规定的可用的稳定要求，然后将这些标准提交DVB商业模块和指导委员会批准。无论如何，DVB显然都会考虑到其他VR标准化组织和行业组织所做的工作，特别是MPEG，VR行业论坛和3GPP。 CM-VR未来将协调不同组织的工作而做出自己的贡献。

8. VRIF

VR产业论坛(VRIF)的目标旨在为了消费者的利益，进一步广泛提供高质量的音像虚拟现实体验，包括与需求，指导方针，互操作性，沟通和联络有关的工作组。目前的重点是为分配音频和视频内容服务实现高质量，可互操作的体验。

目前，VRIF的工作是端到端的指导方针，将使用OMAF和DASH进行分发，首先是点播，然后是直播服务。未来的准则可能会引入其他分配方法，例如广播。VRIF独特地解决了VR360服务的安全问题，不仅仅是保护，还包括用户隐私问题。它与DASH-IF有一些相似之处，但是没有像DASH-IF这样对DASH预定关注的特定技术。

在IBC 2017展会上，VRIF发布一份指南草案，其中称到，VR行业正在从专有系统转向大规模解决方案，这份指南将推动这一转变。VRIF的成员已扩大到40个，并与MPEG、3GPP、DVB和ITU等国际标准研发组织保持联系，确保指南中并无疏漏。

9. QoE: QUALINET, VQEG, ITU-T

现在的VR市场上的质量参差不齐，需要有统一的标准来进行评价和判断。在中国澳门举行的第120届MPEG会议上，ITU-T SG12 Q13/12文档中概述了新的工作项目G.QoE-VR（虚拟现实的体验质量），包括应用场景和相关的QoE因素。其工作的目标是开发主观测试方法和质量模型，并且实际上已经有相关组织开始为360度HMD视频和VR游戏的主观评估提出一些新的建议。目前的基准提供了VR硬件和软件，VR使用案例，影响因素分类，以及VR QoE指标。

在日内瓦召开的ITU-T SG12全体会议上，华为公司提出了QoE for VR(Quality of Experience for Virtual Reality)工作立项提案，该工作项目将输出关于VR业务质量领域的Recommendations文档，向业界提供关于QoE因素、QoE/QoS方面需求、主观测试方法和客观质量评价模型等方面的建议。

10. 总结

“沉浸式”媒体时代的到来，对于程序员与相关技术公司来说无疑也是一个很大的挑战。一次更加身临其境的体验，需要从纯粹的信息传达过渡为“经验的分享”。参与感也是沉浸式体验不可或缺的一部分。技术的创新需要更好地识别个体，个性化体验，提供用户更好的参与体验。对相关的技术公司来说，需要把海量发送端的信息更充裕地传达到接收端。这一系列工作都需要标准工作来督促与推进。当下，越来越多的组织和企业都加入到制定沉浸式媒体活动的标准中，为其提供了新的方法及要求，共同推进这项工作的创新与进步。

参考文献

[1] Christian Timmerer. Overview of standards activities related to immersive media (v2). ISO/IEC JTC1/SC29/WG11 MPEG2016/N17136. October 2017, Macau, CN.

[2] Virtual Reality (VR) media services over 3GPP.(Release 15). 3GPP TR 26.918 V15.0.0. 2017,09.