MMSys2018:VR360发展现状【附PPT全文】

摘要:

2018年6月12号至6月15号,第9届ACM多媒体系统会议(MMSys,ACM Multimedia Systems Conference)在荷兰阿姆斯特丹召开。会上,身兼科研组织TNO首席顾问,VR产业论坛(VRIF)主席等多个职务的Rob Koenen做了关于VR360的主题报告,介绍了目前VR以及360度全景视频领域行业发展、标准推进以及技术革新的情况。

行业现状

就目前的情况来看,VR行业的发展态势良好,包括HypeVR、NextVR在内的许多团队始终致力于VR各环节的技术研究。而像Facebook、Samsung、HTC等知名厂商也已着眼于VR,并于近年带来了许多先进、便捷的产品。体育赛事转播平台BT Sport、Sky UK等均已允许VR设备的介入,为观众带来360度无死角的观看体验。VR的最终目标是实现“6自由度”的完全沉浸式体验,让人感到身临其境,并具有良好的交互感。

根据高德纳咨询公司2017年度关于新兴科技的调查报告,VR产业目前正处于复苏期,还需2-5年方可达到一个平衡发展的状态。目前的VR360视频还存在着分辨率低、头部运动范围小、观看设备庞大等局限性。但VR的未来仍是光明的,据调查,VR与电视、电脑、手机、因特网等成熟技术的初期发展曲线相似。同时也有专家预测,至2022年,VR的全球市场,包括硬件、内容、软件、服务等,将会拥有$74.8B的份额。

VR还需改善的地方包括:(1)更友好的用户体验;(2)更好的视频内容;(3)易用性;(4)副作用的消除;(5)经济性;(6)交互性。而目前正在进行中的推进包括,4K/8K VR,高保真度立体声,头戴式设备(HMD)的更新换代,12K甚至16K的视频拍摄等,均是在向这些目标迈进。

标准化进展

现有的VR标准组织主要有MPEG的OMAF、Khronos、DVB、3GPP、DECE、W3C、VRIF等,各组织致力于VR的不同方面,共同推进VR产业标准的发展,指导行业相关人员的技术研发。

今年是MPEG对于沉浸式媒体蓝图规划的第五个年头。其已经在沉浸式媒体网络视频编码、应用架构、服务调度等方面有了相应标准,未来将会把重点放在6自由度媒体、内容结合、VR360直播与点播上。以下是MEPG-I标准中最主要的八部分内容,目前均在研讨、制定和改善中:

(1)沉浸式媒体架构;

(2)全景媒体应用格式(OMAF);

(3)通用视频编码;

(4)新型沉浸式音频编码;

(5)点云编码;

(6)沉浸式服务与应用元数据;

(7)沉浸式服务与应用度量指标;

(8)基于网络的媒体处理。

其中,OMAF不同于传统媒体应用框架,在客户端的模块均受视角信令的控制,体现出OMAF框架的用户交互性。此外,OMAF也给出了多种全景媒体映射模型和坐标系及其相互间的转换方式。OMAF框架下的VR360支持HEVC、AVC视频编码标准,MPEG-4 AAC、MPEG-H音频编码标准,DASH、MMT等多种流传输协议。

VRIF建立的目的是为VR提供一个广阔的市场,维护消费者、内容设备制造商、服务提供者、广告公司等多方利益。VRIF最新发行的VR指南已在CES 2018期间公布,讲述了VR内容创作、传输、安全性、交互性等技术细节。

最新技术

VR360视频区别传统平面视频的地方在于,用户观看此类视频时需要佩戴HMD,因而只能观看到视野中的场景。基于该特点,目前的大部分厂商均采用视角自适应的流媒体传输方案,并由此延伸出了视点渲染、视点预测、分级传输、基于tile的传输、缓存区优化、网络协议优化等技术。这类方案的关键在于视频质量的选取、速率分配和运动-高分辨率图像延迟的降低。

其中,基于tile的传输方法是将完整的单帧图像分割成多个小图像块tile,并在客户端根据视角信息解码产生混合分辨率的图像。对用户视野内的区域,显示高分辨率图像;对用户视野外的区域,则提供低分辨率图像作为视角移动保护。类似地,tile也可以生成多比特率的版本进行分层传输。

基于tile的传输方法主要分为两种:预分配(Early Tile Binding)和后分配(Late Tile Binding)方案。前一种方案在视频传输前预先配置多种可能的tile分层模式,该方案的优点是计算量小,易执行且交互性强。后一种方案则由客户端决定具体的tile类型和分辨率,其适用于不同的用户视角运动,灵活性好。两种方案相比于原始的全内容高分辨率传输方案而言均更为有效,一般可以节省70%-80%的带宽,具体数值取决于内容与头部运动的复杂性。

总结与展望

本次报告对VR360领域的进展进行了一次全方面的总结,包括行业动态、最新的指导方针和相关的前沿技术。VR360的诞生为视频编码/传输领域带来了许多新的挑战。报告中也提到应将编码与传输紧密结合,才能得到最好的观看体验。

报告PPT全文

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2018-07-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

深度学习颠覆云计算,亚马逊、微软、谷歌势必与英伟达一决高下

【新智元导读】多位精英CIO、CTO和技术高管组成的福布斯杂志的常设部门Forbes Technology Council 撰文指出,随着市场对针对机器学习优化...

38790
来自专栏PPV课数据科学社区

大数据变现的关键途径是——可视化

在Google搜索有关“大数据”,会出现很多个由立体0和1组成的图片,一些解释性的信息图示,甚至出现“黑客帝国”的界面。那“大数据”到底是什么,...

35960
来自专栏机器之心

前沿 | MIT脑控机器人再升级:脑信号+肌肉信号,轻松控制机器人动作

让机器人做事并不容易:通常,科学家要么对机器人进行明确编程,要么使机器人理解人类如何通过语言进行沟通。

15520
来自专栏AI研习社

为什么 GPU 会成为通用计算的宠儿?

编者按:文章来源自 Mapd,作者 Jonathan Symonds,AI 研习社编译。 █ 英伟达在 2016 年的强势崛起,GPGPU (GPU 通用计算)...

51950
来自专栏Keegan小钢

001 | 如何高效学习

就像建一栋大厦一样,需要先打地基,地基打得好,大厦才够稳。在进阶全栈的路上,同样也需要先打好地基,所以我会将基础软技能板块排在专栏提纲的最前面。先帮你们打好基础...

11430
来自专栏镁客网

这款DNA机器人,可以帮你分拣身体中的生物垃圾 | 黑科技

20900
来自专栏机器人网

神奇软体机器人:丢进热水里就能自己折叠

为了演示一种制造兼容、可控机器人结构体的全新方法,研究人员构建了一个能够自主折叠的兔子、金枪鱼和海星的3D模型。这些构造物浸泡在热水之后,会从平面形式上折叠起来...

26530
来自专栏前沿技墅

智能推荐:“相关性搜索”只给你最想要的

21340
来自专栏大数据文摘

谷歌AK47制造者:阿米特.辛格博士

22250
来自专栏华章科技

送书 | 别泡枸杞,别晒步数!7招搞懂健康数据,有型有颜等TA来撩

导读:你的日常活动正在产生大量数据!但其中很多数据也正在被你浪费。你以为数据与健康的关系,就是在朋友圈里晒晒步数?其实,并不需要复杂的技术,这些数据就可以帮你完...

5820

扫码关注云+社区

领取腾讯云代金券