沉浸式媒体相关标准进展概述

1. 前言

目前,AR和VR的出现使得人们可以利用技术不断地去改进描述世界的方法。在这个过程中,人们通过多种多样先进的设备,获得前所未有的“沉浸式体验”。所谓的“沉浸式体验”,是指用户被置于不断扩大,接近真实的虚拟世界中心,过滤掉所有不相关的知觉,完全投入情境当中。目前,多个国际组织正致力于沉浸式媒体的标准制定和研究,本文将主要介绍这些组织在VR/AR方面的近期标准进展[1]。

2. IEEE P2048

目前,IEEE标准协会正在为虚拟和增强现实开发一系列标准。下表提供了关于IEEE P2048系列标准工作组的简要描述。在今年上半年,该工作组宣布了针对虚拟现实和增强现实的8个IEEE标准项目,目前已经拓展到12个相关项目。

表中项目将由IEEE虚拟现实和增强现实工作组负责,参与者包括设备制造商、内容提供商、服务提供商、技术开发人员和政府机构等等。目前,VR/AR相关的技术正在以非常快的速度发展,而现有的开发标准仅涵盖了VR/AR领域的小部分,该工作组正全方面努力扩展,以达到满足技术领域的标准化需求。

3. IEEE P3333.3

IEEE P3333.3标准主要的关注点在于头戴式显示器(HMD)的3D内容运动失真问题。该标准组织目前正通过对焦点失真的视觉反应、对镜片材料的视觉反应、对镜片折射率的视觉反应、对帧率的视觉反应等四个方面的研究提供一个用于解决“基于HMD的3D内容运动失真引起的虚拟现实(VR)失真”的技术指导。

图 1. IEEE P3333.3 WG 结构

4. Khronos

在2017年 GDC 大会期间,Khronos Group(科纳斯组织)公布 VR/AR 标准 OpenXR,为VR和AR应用程序定义了一个API。在OpenXR中,应用程序和引擎使用标准化接口来询问和驱动设备,这样设备可以自我集成到一个标准化的驱动程序界面。同时,标准化的硬件/软件接口减少了碎片化,同时保留了实施细节,以鼓励行业创新。

由于不同的公司的系统和设备不同,这就导致了 VR/AR 设备和平台出现各种“分裂”的情况。OpenXR 的目的便是减少开发者们为支持不同设备的 API 而产生的麻烦。如果没有设立标准的 API 接口,各平台间的对接将会非常的繁琐和复杂。有了OpenXR标作为接口标准后,开发者只用写一次代码便能对接各个平台。Khronos 标准可用于增强用户界面,以及智能手机的游戏和应用中3D图形 API 的 OpenGL ES,用于异构并行计算的 OpenCL以及用于 HTML5 的 3D 图形的 WebGL。

图 2. OpenXR通用接口设计

5. WebVR

目前VR市场产品众多,无论在硬件还是内容服务上尚无法形成统一标准。而WebVR的出现,能够让诸多VR头显设备或是VR手机在获取内容的方式上统一。WebVR提出了一个关于VR网络应用的开放性标准,即用户可以直接通过浏览器观看VR内容。在2017年2月,Google已提出在Chrome浏览器上植入WebVR,让VR体验更加便捷,图3为Google的WebVR实验室的设计截图。

图3 Google的WebVR实验室的设计截图

WebVR的优势显而易见。它的开发门槛更低,一个普通web前端工程师就可以参与到VR应用开发中。它的跨平台性更强,可以跨设备终端、跨操作系统以及跨APP载体。其次,WebVR开发快速、维护方便,可以随时进行调整,并且传播更加便捷。最重要的是,使用浏览器即可体验VR,无需安装其他应用。

6. 3GPP

3GPP SA4最近完成了关于虚拟现实(FS_VR)的研究项目,该研究结果被记录在技术报告TR 26.918[2]中。该技术报告中主要包含以下七点:

  • 现有的VR音频和视频内容制作工作流程和格式以及渲染
  • 一系列涵盖流媒体、会话、用户生成和遗留内容消费VR服务的用例
  • 双耳听音条件的音频质量评估
  • 视口独立和相关VR流媒体的视频质量评估
  • 延迟和VR音频/视频同步
  • 网络,内容和设备对VR QoE的影响
  • 差距分析和候选解决方案

同时,3GPP SA4启动了以下工作和研究项目:

1.流媒体虚拟现实配置文件(VRStream)的工作项目,其目的是为VR Streaming用例集定义相关的媒体和协议启用者。

2.沉浸式语音和音频服务(IVAS_Codec)的EVS编解码器扩展工作项目,总体目标是开发用于身临其境的4G和5G服务和应用的单一通用音频编解码器。

3.Live Uplink Streaming(FLUS)框架工作项目,其目的是为点对点定义上行链路直播流媒体(例如360视频,VR,UHD,多声道音频)的框架。

4.针对VR音频的3GPP编解码器的研究项目(FS_CODVRA),其目标是评估现有3GPP音频编码能力是否适合启用VR服务,并提供如何使用和配置现有编解码器以提供最佳VR QoE的推荐。

5.关于VR的QoE指标的研究项目(FS_QoE_VR),其目标是调查可能需要由客户端向网络报告以评估VR用户体验的QoE参数和指标。

7. DVB

DVB(数字视频广播)是电视、广播和技术公司的联盟,旨在为数字电视和其他广播技术创建一套开放的技术标准。在虚拟现实(VR)发布报告后,DVB为VR内容设定了新的标准。在2017年年中,DVB VR活动从VR(CM-VR-SMG)的商业模块(CM)研究任务被推广到了CM-VR官方团队。CM-VR的总体目标是提供商业需求,传递给相关的DVB技术模块(TM)小组,根据DVB CM的规定开发针对DVB网络上的VR内容交付的技术规范。

CM-VR首先将重点放在系统上,针对DVB集成式接收器/解码器(IRD)以及下一代IP连接设备,利用DVB宽带和广播网络向广播公司提供VR内容。考虑到现有的技术和现实的部署方案,CM-VR将打算提供“全景/ 3DOF +”的视听体验。

目前,DVB定义了VR在商业上获得成功的三大要素:技术、运动晕眩以及内容,其中技术方面包括制作、传输以及VR显示。

由于VR技术的规模和复杂性,DVB在第一阶段将研究VR和360度VR设备的体验,第二阶段将考察更为复杂的VR设备领域。CM-VR的目标是能够获得CES2018规定的可用的稳定要求,然后将这些标准提交DVB商业模块和指导委员会批准。无论如何,DVB显然都会考虑到其他VR标准化组织和行业组织所做的工作,特别是MPEG,VR行业论坛和3GPP。 CM-VR未来将协调不同组织的工作而做出自己的贡献。

8. VRIF

VR产业论坛(VRIF)的目标旨在为了消费者的利益,进一步广泛提供高质量的音像虚拟现实体验,包括与需求,指导方针,互操作性,沟通和联络有关的工作组。目前的重点是为分配音频和视频内容服务实现高质量,可互操作的体验。

目前,VRIF的工作是端到端的指导方针,将使用OMAF和DASH进行分发,首先是点播,然后是直播服务。未来的准则可能会引入其他分配方法,例如广播。VRIF独特地解决了VR360服务的安全问题,不仅仅是保护,还包括用户隐私问题。它与DASH-IF有一些相似之处,但是没有像DASH-IF这样对DASH预定关注的特定技术。

在IBC 2017展会上,VRIF发布一份指南草案,其中称到,VR行业正在从专有系统转向大规模解决方案,这份指南将推动这一转变。VRIF的成员已扩大到40个,并与MPEG、3GPP、DVB和ITU等国际标准研发组织保持联系,确保指南中并无疏漏。

9. QoE: QUALINET, VQEG, ITU-T

现在的VR市场上的质量参差不齐,需要有统一的标准来进行评价和判断。在澳门举行的第120届MPEG会议上,ITU-T SG12 Q13/12文档中概述了新的工作项目G.QoE-VR(虚拟现实的体验质量),包括应用场景和相关的QoE因素。其工作的目标是开发主观测试方法和质量模型,并且实际上已经有相关组织开始为360度HMD视频和VR游戏的主观评估提出一些新的建议。目前的基准提供了VR硬件和软件,VR使用案例,影响因素分类,以及VR QoE指标。

在日内瓦召开的ITU-T SG12全体会议上,华为公司提出了QoE for VR(Quality of Experience for Virtual Reality)工作立项提案,该工作项目将输出关于VR业务质量领域的Recommendations文档,向业界提供关于QoE因素、QoE/QoS方面需求、主观测试方法和客观质量评价模型等方面的建议。

10. 总结

“沉浸式”媒体时代的到来,对于程序员与相关技术公司来说无疑也是一个很大的挑战。一次更加身临其境的体验,需要从纯粹的信息传达过渡为“经验的分享”。参与感也是沉浸式体验不可或缺的一部分。技术的创新需要更好地识别个体,个性化体验,提供用户更好的参与体验。对相关的技术公司来说,需要把海量发送端的信息更充裕地传达到接收端。这一系列工作都需要标准工作来督促与推进。当下,越来越多的组织和企业都加入到制定沉浸式媒体活动的标准中,为其提供了新的方法及要求,共同推进这项工作的创新与进步。

参考文献

[1] Christian Timmerer. Overview of standards activities related to immersive media (v2). ISO/IEC JTC1/SC29/WG11 MPEG2016/N17136. October 2017, Macau, CN.

[2] Virtual Reality (VR) media services over 3GPP.(Release 15). 3GPP TR 26.918 V15.0.0. 2017,09.

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2017-12-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏无原型不设计

UX最佳演练:交互驱动连接

以下内容由Mockplus团队翻译整理,仅供学习交流,Mockplus是更快更简单的原型设计工具 我们开展了最佳用户体验演练的系列活动,其涵盖了模式和格式...

2605
来自专栏大数据

大数据躺过的坑之2017年12月份所有微信公众号干货汇总

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 在前面的博文里,我已经介绍了 注意: 今天是2017年12月份的最后一天(2017.12.31)...

2477
来自专栏BestSDK

交互新趋势,如何设计语音交互?

一直以来,我们使用的是以视觉界面交互为主的3C产品。iPhone,Google Glass,Apple Watch,以及增强现实的Magic Leap, Mic...

3809
来自专栏EAWorld

DevOps 5.0版本的150天历程

做DevOps产品差不多三年了,中间经历了诸多架构变迁、团队变动、业务目标调整,终于在七月下旬,正式发布了DevOps产品的 5.0 LA版本。这个版本从三月到...

3273
来自专栏腾讯社交用户体验设计

聊出一个未来 - 腾讯ISUX

873
来自专栏罗超频道

找社交要答案,搜狗能重构搜索吗?

移动互联网还在不断瓜分着互联网的流量,入口的碎片化使得搜索引擎受到很大冲击,搜索引擎都在尝试重构自己,寻找新的出路,执掌搜狗11年的王小川的思路是:接入独家内容...

4204
来自专栏腾讯研究院的专栏

为什么中小企业需要关注大数据?

过去几年中,“大数据”已然成为一个时髦术语,登上流行词汇榜单。很多公司都提到它,那么其中究竟传达了什么深意呢? 提到大数据时,人们往往最容易忽视电子邮箱。...

3396
来自专栏BestSDK

即构音视频SDK:跨四平台、三种类型终端,让直播保持低延迟高画质

说到音视频云服务,大多数人可能联想到的是网络直播应用场景,实际上,硬件对音视频云服务的需求也在逐渐提升。而这样的市场需求也推动了整个行业的发展,目前,阿里云、腾...

4187
来自专栏AI科技大本营的专栏

Siri不行了?微软小冰或许是未来的方向

作者 | 阿司匹林 语音助手大战已经进入到白热化的阶段了,除了苹果、亚马逊、Google、微软等国际玩家,国内的百度、阿里、腾讯、天猫也已经纷纷在这个赛道上加快...

3478
来自专栏顾宇的研习笔记

云原生 DevOps

技术雷达是ThoughtWorks每年出品两期的技术趋势报告,新一期即将在5月15日正式发布。本人有幸第三次参与技术雷达的汉化发布工作,并借此机会一览技术前沿的...

1241

扫码关注云+社区