沉浸式媒体相关标准进展概述

1. 前言

目前,AR和VR的出现使得人们可以利用技术不断地去改进描述世界的方法。在这个过程中,人们通过多种多样先进的设备,获得前所未有的“沉浸式体验”。所谓的“沉浸式体验”,是指用户被置于不断扩大,接近真实的虚拟世界中心,过滤掉所有不相关的知觉,完全投入情境当中。目前,多个国际组织正致力于沉浸式媒体的标准制定和研究,本文将主要介绍这些组织在VR/AR方面的近期标准进展[1]。

2. IEEE P2048

目前,IEEE标准协会正在为虚拟和增强现实开发一系列标准。下表提供了关于IEEE P2048系列标准工作组的简要描述。在今年上半年,该工作组宣布了针对虚拟现实和增强现实的8个IEEE标准项目,目前已经拓展到12个相关项目。

表中项目将由IEEE虚拟现实和增强现实工作组负责,参与者包括设备制造商、内容提供商、服务提供商、技术开发人员和政府机构等等。目前,VR/AR相关的技术正在以非常快的速度发展,而现有的开发标准仅涵盖了VR/AR领域的小部分,该工作组正全方面努力扩展,以达到满足技术领域的标准化需求。

3. IEEE P3333.3

IEEE P3333.3标准主要的关注点在于头戴式显示器(HMD)的3D内容运动失真问题。该标准组织目前正通过对焦点失真的视觉反应、对镜片材料的视觉反应、对镜片折射率的视觉反应、对帧率的视觉反应等四个方面的研究提供一个用于解决“基于HMD的3D内容运动失真引起的虚拟现实(VR)失真”的技术指导。

图 1. IEEE P3333.3 WG 结构

4. Khronos

在2017年 GDC 大会期间,Khronos Group(科纳斯组织)公布 VR/AR 标准 OpenXR,为VR和AR应用程序定义了一个API。在OpenXR中,应用程序和引擎使用标准化接口来询问和驱动设备,这样设备可以自我集成到一个标准化的驱动程序界面。同时,标准化的硬件/软件接口减少了碎片化,同时保留了实施细节,以鼓励行业创新。

由于不同的公司的系统和设备不同,这就导致了 VR/AR 设备和平台出现各种“分裂”的情况。OpenXR 的目的便是减少开发者们为支持不同设备的 API 而产生的麻烦。如果没有设立标准的 API 接口,各平台间的对接将会非常的繁琐和复杂。有了OpenXR标作为接口标准后,开发者只用写一次代码便能对接各个平台。Khronos 标准可用于增强用户界面,以及智能手机的游戏和应用中3D图形 API 的 OpenGL ES,用于异构并行计算的 OpenCL以及用于 HTML5 的 3D 图形的 WebGL。

图 2. OpenXR通用接口设计

5. WebVR

目前VR市场产品众多,无论在硬件还是内容服务上尚无法形成统一标准。而WebVR的出现,能够让诸多VR头显设备或是VR手机在获取内容的方式上统一。WebVR提出了一个关于VR网络应用的开放性标准,即用户可以直接通过浏览器观看VR内容。在2017年2月,Google已提出在Chrome浏览器上植入WebVR,让VR体验更加便捷,图3为Google的WebVR实验室的设计截图。

图3 Google的WebVR实验室的设计截图

WebVR的优势显而易见。它的开发门槛更低,一个普通web前端工程师就可以参与到VR应用开发中。它的跨平台性更强,可以跨设备终端、跨操作系统以及跨APP载体。其次,WebVR开发快速、维护方便,可以随时进行调整,并且传播更加便捷。最重要的是,使用浏览器即可体验VR,无需安装其他应用。

6. 3GPP

3GPP SA4最近完成了关于虚拟现实(FS_VR)的研究项目,该研究结果被记录在技术报告TR 26.918[2]中。该技术报告中主要包含以下七点:

  • 现有的VR音频和视频内容制作工作流程和格式以及渲染
  • 一系列涵盖流媒体、会话、用户生成和遗留内容消费VR服务的用例
  • 双耳听音条件的音频质量评估
  • 视口独立和相关VR流媒体的视频质量评估
  • 延迟和VR音频/视频同步
  • 网络,内容和设备对VR QoE的影响
  • 差距分析和候选解决方案

同时,3GPP SA4启动了以下工作和研究项目:

1.流媒体虚拟现实配置文件(VRStream)的工作项目,其目的是为VR Streaming用例集定义相关的媒体和协议启用者。

2.沉浸式语音和音频服务(IVAS_Codec)的EVS编解码器扩展工作项目,总体目标是开发用于身临其境的4G和5G服务和应用的单一通用音频编解码器。

3.Live Uplink Streaming(FLUS)框架工作项目,其目的是为点对点定义上行链路直播流媒体(例如360视频,VR,UHD,多声道音频)的框架。

4.针对VR音频的3GPP编解码器的研究项目(FS_CODVRA),其目标是评估现有3GPP音频编码能力是否适合启用VR服务,并提供如何使用和配置现有编解码器以提供最佳VR QoE的推荐。

5.关于VR的QoE指标的研究项目(FS_QoE_VR),其目标是调查可能需要由客户端向网络报告以评估VR用户体验的QoE参数和指标。

7. DVB

DVB(数字视频广播)是电视、广播和技术公司的联盟,旨在为数字电视和其他广播技术创建一套开放的技术标准。在虚拟现实(VR)发布报告后,DVB为VR内容设定了新的标准。在2017年年中,DVB VR活动从VR(CM-VR-SMG)的商业模块(CM)研究任务被推广到了CM-VR官方团队。CM-VR的总体目标是提供商业需求,传递给相关的DVB技术模块(TM)小组,根据DVB CM的规定开发针对DVB网络上的VR内容交付的技术规范。

CM-VR首先将重点放在系统上,针对DVB集成式接收器/解码器(IRD)以及下一代IP连接设备,利用DVB宽带和广播网络向广播公司提供VR内容。考虑到现有的技术和现实的部署方案,CM-VR将打算提供“全景/ 3DOF +”的视听体验。

目前,DVB定义了VR在商业上获得成功的三大要素:技术、运动晕眩以及内容,其中技术方面包括制作、传输以及VR显示。

由于VR技术的规模和复杂性,DVB在第一阶段将研究VR和360度VR设备的体验,第二阶段将考察更为复杂的VR设备领域。CM-VR的目标是能够获得CES2018规定的可用的稳定要求,然后将这些标准提交DVB商业模块和指导委员会批准。无论如何,DVB显然都会考虑到其他VR标准化组织和行业组织所做的工作,特别是MPEG,VR行业论坛和3GPP。 CM-VR未来将协调不同组织的工作而做出自己的贡献。

8. VRIF

VR产业论坛(VRIF)的目标旨在为了消费者的利益,进一步广泛提供高质量的音像虚拟现实体验,包括与需求,指导方针,互操作性,沟通和联络有关的工作组。目前的重点是为分配音频和视频内容服务实现高质量,可互操作的体验。

目前,VRIF的工作是端到端的指导方针,将使用OMAF和DASH进行分发,首先是点播,然后是直播服务。未来的准则可能会引入其他分配方法,例如广播。VRIF独特地解决了VR360服务的安全问题,不仅仅是保护,还包括用户隐私问题。它与DASH-IF有一些相似之处,但是没有像DASH-IF这样对DASH预定关注的特定技术。

在IBC 2017展会上,VRIF发布一份指南草案,其中称到,VR行业正在从专有系统转向大规模解决方案,这份指南将推动这一转变。VRIF的成员已扩大到40个,并与MPEG、3GPP、DVB和ITU等国际标准研发组织保持联系,确保指南中并无疏漏。

9. QoE: QUALINET, VQEG, ITU-T

现在的VR市场上的质量参差不齐,需要有统一的标准来进行评价和判断。在澳门举行的第120届MPEG会议上,ITU-T SG12 Q13/12文档中概述了新的工作项目G.QoE-VR(虚拟现实的体验质量),包括应用场景和相关的QoE因素。其工作的目标是开发主观测试方法和质量模型,并且实际上已经有相关组织开始为360度HMD视频和VR游戏的主观评估提出一些新的建议。目前的基准提供了VR硬件和软件,VR使用案例,影响因素分类,以及VR QoE指标。

在日内瓦召开的ITU-T SG12全体会议上,华为公司提出了QoE for VR(Quality of Experience for Virtual Reality)工作立项提案,该工作项目将输出关于VR业务质量领域的Recommendations文档,向业界提供关于QoE因素、QoE/QoS方面需求、主观测试方法和客观质量评价模型等方面的建议。

10. 总结

“沉浸式”媒体时代的到来,对于程序员与相关技术公司来说无疑也是一个很大的挑战。一次更加身临其境的体验,需要从纯粹的信息传达过渡为“经验的分享”。参与感也是沉浸式体验不可或缺的一部分。技术的创新需要更好地识别个体,个性化体验,提供用户更好的参与体验。对相关的技术公司来说,需要把海量发送端的信息更充裕地传达到接收端。这一系列工作都需要标准工作来督促与推进。当下,越来越多的组织和企业都加入到制定沉浸式媒体活动的标准中,为其提供了新的方法及要求,共同推进这项工作的创新与进步。

参考文献

[1] Christian Timmerer. Overview of standards activities related to immersive media (v2). ISO/IEC JTC1/SC29/WG11 MPEG2016/N17136. October 2017, Macau, CN.

[2] Virtual Reality (VR) media services over 3GPP.(Release 15). 3GPP TR 26.918 V15.0.0. 2017,09.

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2017-12-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏韩伟的专栏

需求变化的根源是什么?

在不按时算薪的行业里,软件开发应该是加班最多的一个行业。码农,是很多程序员用以自嘲的称谓。长时间的加班,大量的BUG,无穷无尽的特性,永远都在做的重构,伴随着程...

2833
来自专栏腾讯研究院的专栏

物联网正在成为下一个云战场

  当云计算供应商之间的竞争日益加剧的同时,它们对物联网的兴趣也与日俱增。越来越多的连网设备如雨后春笋一般出现在市场上,令这片市场的竞争变得越来越强烈...

2896
来自专栏数据猿

【案例】恒丰银行——基于大数据的客户关系管理系统

数据猿导读 恒丰银行客户关系管理系统依托大数据平台,采用最新的微服务软件架构和实时流处理技术,通过整合内外部数据,实现了360客户视图、智能获客、营销机会、产品...

2885
来自专栏VRPinea

云VR平台或是图形渲染解决方案?GridRaster为此融资200万美元

2565
来自专栏数据猿

专访中科云创周北川:用AI来做工业设备的故障诊断,目前还停留在“鸡尾酒疗法”阶段

【数据猿导读】“对于工业设备而言,从运行状态数据搜集到上传云端存储分析,再到应用组件的整合,整个过程是一条非常长的产业链,做好产业链的某一点并不难,难的是将这些...

3078
来自专栏数据的力量

【用户运营】我看过的最好的关于用户运营文章:用户运营的定义、演变和方法论

2055
来自专栏四蛋科技

高管人员对大数据现状的看法

本文在新版《DZone大数据指南:数据科学和高级分析》中提供。获取更具洞察力的文章,行业统计数据,以及更多资讯!

1963
来自专栏大数据文摘

CBinsight | 分析101个创业失败案例,我们总结了20大失败原因

2526
来自专栏数据科学与人工智能

【金融数据】挖掘数据价值,打造智能银行

今天移动互联网正狂飙突进、网上购物平台和网上社交平台也方兴未艾,包括结构化数据、半结构化数据、非结构化数据的大数据爆炸式增长。早在2012年,大数据已经登上美国...

2375
来自专栏腾讯研究院的专栏

大数据时代媒体如何挖掘用户

12月19日的“2014中国互联网企业领袖年会”上,就大数据在时代媒体如何挖掘用户、如何进行营销创新等实际操作问题,知名财经网站的相关负责人就各自经验和心得进...

1849

扫描关注云+社区