MMSys2018:VR360发展现状【附PPT全文】

摘要:

2018年6月12号至6月15号,第9届ACM多媒体系统会议(MMSys,ACM Multimedia Systems Conference)在荷兰阿姆斯特丹召开。会上,身兼科研组织TNO首席顾问,VR产业论坛(VRIF)主席等多个职务的Rob Koenen做了关于VR360的主题报告,介绍了目前VR以及360度全景视频领域行业发展、标准推进以及技术革新的情况。

行业现状

就目前的情况来看,VR行业的发展态势良好,包括HypeVR、NextVR在内的许多团队始终致力于VR各环节的技术研究。而像Facebook、Samsung、HTC等知名厂商也已着眼于VR,并于近年带来了许多先进、便捷的产品。体育赛事转播平台BT Sport、Sky UK等均已允许VR设备的介入,为观众带来360度无死角的观看体验。VR的最终目标是实现“6自由度”的完全沉浸式体验,让人感到身临其境,并具有良好的交互感。

根据高德纳咨询公司2017年度关于新兴科技的调查报告,VR产业目前正处于复苏期,还需2-5年方可达到一个平衡发展的状态。目前的VR360视频还存在着分辨率低、头部运动范围小、观看设备庞大等局限性。但VR的未来仍是光明的,据调查,VR与电视、电脑、手机、因特网等成熟技术的初期发展曲线相似。同时也有专家预测,至2022年,VR的全球市场,包括硬件、内容、软件、服务等,将会拥有$74.8B的份额。

VR还需改善的地方包括:(1)更友好的用户体验;(2)更好的视频内容;(3)易用性;(4)副作用的消除;(5)经济性;(6)交互性。而目前正在进行中的推进包括,4K/8K VR,高保真度立体声,头戴式设备(HMD)的更新换代,12K甚至16K的视频拍摄等,均是在向这些目标迈进。

标准化进展

现有的VR标准组织主要有MPEG的OMAF、Khronos、DVB、3GPP、DECE、W3C、VRIF等,各组织致力于VR的不同方面,共同推进VR产业标准的发展,指导行业相关人员的技术研发。

今年是MPEG对于沉浸式媒体蓝图规划的第五个年头。其已经在沉浸式媒体网络视频编码、应用架构、服务调度等方面有了相应标准,未来将会把重点放在6自由度媒体、内容结合、VR360直播与点播上。以下是MEPG-I标准中最主要的八部分内容,目前均在研讨、制定和改善中:

(1)沉浸式媒体架构;

(2)全景媒体应用格式(OMAF);

(3)通用视频编码;

(4)新型沉浸式音频编码;

(5)点云编码;

(6)沉浸式服务与应用元数据;

(7)沉浸式服务与应用度量指标;

(8)基于网络的媒体处理。

其中,OMAF不同于传统媒体应用框架,在客户端的模块均受视角信令的控制,体现出OMAF框架的用户交互性。此外,OMAF也给出了多种全景媒体映射模型和坐标系及其相互间的转换方式。OMAF框架下的VR360支持HEVC、AVC视频编码标准,MPEG-4 AAC、MPEG-H音频编码标准,DASH、MMT等多种流传输协议。

VRIF建立的目的是为VR提供一个广阔的市场,维护消费者、内容设备制造商、服务提供者、广告公司等多方利益。VRIF最新发行的VR指南已在CES 2018期间公布,讲述了VR内容创作、传输、安全性、交互性等技术细节。

最新技术

VR360视频区别传统平面视频的地方在于,用户观看此类视频时需要佩戴HMD,因而只能观看到视野中的场景。基于该特点,目前的大部分厂商均采用视角自适应的流媒体传输方案,并由此延伸出了视点渲染、视点预测、分级传输、基于tile的传输、缓存区优化、网络协议优化等技术。这类方案的关键在于视频质量的选取、速率分配和运动-高分辨率图像延迟的降低。

其中,基于tile的传输方法是将完整的单帧图像分割成多个小图像块tile,并在客户端根据视角信息解码产生混合分辨率的图像。对用户视野内的区域,显示高分辨率图像;对用户视野外的区域,则提供低分辨率图像作为视角移动保护。类似地,tile也可以生成多比特率的版本进行分层传输。

基于tile的传输方法主要分为两种:预分配(Early Tile Binding)和后分配(Late Tile Binding)方案。前一种方案在视频传输前预先配置多种可能的tile分层模式,该方案的优点是计算量小,易执行且交互性强。后一种方案则由客户端决定具体的tile类型和分辨率,其适用于不同的用户视角运动,灵活性好。两种方案相比于原始的全内容高分辨率传输方案而言均更为有效,一般可以节省70%-80%的带宽,具体数值取决于内容与头部运动的复杂性。

总结与展望

本次报告对VR360领域的进展进行了一次全方面的总结,包括行业动态、最新的指导方针和相关的前沿技术。VR360的诞生为视频编码/传输领域带来了许多新的挑战。报告中也提到应将编码与传输紧密结合,才能得到最好的观看体验。

报告PPT全文

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2018-07-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

用户首次付费分析

作者 邓培 本文为CDA数据分析师志愿者原创作品,转载需授权 ---- 导读 作者目前在一家互联网证券社交平台从事产品数据分析工作,本项目解决用户自激活 AP...

2428
来自专栏程序员笔记

一些关于纸上原型的笔记

1662
来自专栏新智元

深度学习颠覆云计算,亚马逊、微软、谷歌势必与英伟达一决高下

【新智元导读】多位精英CIO、CTO和技术高管组成的福布斯杂志的常设部门Forbes Technology Council 撰文指出,随着市场对针对机器学习优化...

3589
来自专栏机器人网

神奇软体机器人:丢进热水里就能自己折叠

为了演示一种制造兼容、可控机器人结构体的全新方法,研究人员构建了一个能够自主折叠的兔子、金枪鱼和海星的3D模型。这些构造物浸泡在热水之后,会从平面形式上折叠起来...

2503
来自专栏机器之心

前沿 | MIT脑控机器人再升级:脑信号+肌肉信号,轻松控制机器人动作

让机器人做事并不容易:通常,科学家要么对机器人进行明确编程,要么使机器人理解人类如何通过语言进行沟通。

1252
来自专栏SDNLAB

应用驱动网络(ADN)开启用户体验新时代

未来网络的核心挑战是如何解决网络架构制约商业模型创新的问题。 运营商的收益依赖于用户规模,用户增长面临瓶颈。互联网最初架构的思想就是为了流量而建网,并不考虑不...

3869
来自专栏前沿技墅

智能推荐:“相关性搜索”只给你最想要的

1734
来自专栏大数据文摘

谷歌AK47制造者:阿米特.辛格博士

1915
来自专栏VRPinea

芬兰首都推出城市3D模型,依傍于逼真环境的游戏大地图或可期待

AR和MR等现代技术正在结合真实和虚拟元素,为娱乐,工作和媒体创造令人兴奋的新可能性。据悉,旧金山的Umbra已与芬兰首都赫尔辛基市建立了合作关系,为整个城市提...

972
来自专栏PPV课数据科学社区

【学习】大数据技术学习路线指南:[2]实践原型

大数据的目的在于挖掘价值,而它的本质与OODA循环决策模型非常相似。用OODA这个原型来理解大数据是最合适的了!在战场上,OODA循环决策的周期越短,胜算越大;...

3706

扫码关注云+社区