MMSys2018：VR360发展现状【附PPT全文】

摘要：

2018年6月12号至6月15号，第9届ACM多媒体系统会议（MMSys，ACM Multimedia Systems Conference）在荷兰阿姆斯特丹召开。会上，身兼科研组织TNO首席顾问，VR产业论坛（VRIF）主席等多个职务的Rob Koenen做了关于VR360的主题报告，介绍了目前VR以及360度全景视频领域行业发展、标准推进以及技术革新的情况。

行业现状

就目前的情况来看，VR行业的发展态势良好，包括HypeVR、NextVR在内的许多团队始终致力于VR各环节的技术研究。而像Facebook、Samsung、HTC等知名厂商也已着眼于VR，并于近年带来了许多先进、便捷的产品。体育赛事转播平台BT Sport、Sky UK等均已允许VR设备的介入，为观众带来360度无死角的观看体验。VR的最终目标是实现“6自由度”的完全沉浸式体验，让人感到身临其境，并具有良好的交互感。

根据高德纳咨询公司2017年度关于新兴科技的调查报告，VR产业目前正处于复苏期，还需2-5年方可达到一个平衡发展的状态。目前的VR360视频还存在着分辨率低、头部运动范围小、观看设备庞大等局限性。但VR的未来仍是光明的，据调查，VR与电视、电脑、手机、因特网等成熟技术的初期发展曲线相似。同时也有专家预测，至2022年，VR的全球市场，包括硬件、内容、软件、服务等，将会拥有$74.8B的份额。

VR还需改善的地方包括：（1）更友好的用户体验；（2）更好的视频内容；（3）易用性；（4）副作用的消除；（5）经济性；（6）交互性。而目前正在进行中的推进包括，4K/8K VR，高保真度立体声，头戴式设备（HMD）的更新换代，12K甚至16K的视频拍摄等,均是在向这些目标迈进。

标准化进展

现有的VR标准组织主要有MPEG的OMAF、Khronos、DVB、3GPP、DECE、W3C、VRIF等，各组织致力于VR的不同方面，共同推进VR产业标准的发展，指导行业相关人员的技术研发。

今年是MPEG对于沉浸式媒体蓝图规划的第五个年头。其已经在沉浸式媒体网络视频编码、应用架构、服务调度等方面有了相应标准，未来将会把重点放在6自由度媒体、内容结合、VR360直播与点播上。以下是MEPG-I标准中最主要的八部分内容，目前均在研讨、制定和改善中：

（1）沉浸式媒体架构；

（2）全景媒体应用格式（OMAF）；

（3）通用视频编码；

（4）新型沉浸式音频编码；

（5）点云编码；

（6）沉浸式服务与应用元数据；

（7）沉浸式服务与应用度量指标；

（8）基于网络的媒体处理。

其中，OMAF不同于传统媒体应用框架，在客户端的模块均受视角信令的控制，体现出OMAF框架的用户交互性。此外，OMAF也给出了多种全景媒体映射模型和坐标系及其相互间的转换方式。OMAF框架下的VR360支持HEVC、AVC视频编码标准，MPEG-4 AAC、MPEG-H音频编码标准，DASH、MMT等多种流传输协议。

VRIF建立的目的是为VR提供一个广阔的市场，维护消费者、内容设备制造商、服务提供者、广告公司等多方利益。VRIF最新发行的VR指南已在CES 2018期间公布，讲述了VR内容创作、传输、安全性、交互性等技术细节。

最新技术

VR360视频区别传统平面视频的地方在于，用户观看此类视频时需要佩戴HMD，因而只能观看到视野中的场景。基于该特点，目前的大部分厂商均采用视角自适应的流媒体传输方案，并由此延伸出了视点渲染、视点预测、分级传输、基于tile的传输、缓存区优化、网络协议优化等技术。这类方案的关键在于视频质量的选取、速率分配和运动-高分辨率图像延迟的降低。

其中，基于tile的传输方法是将完整的单帧图像分割成多个小图像块tile，并在客户端根据视角信息解码产生混合分辨率的图像。对用户视野内的区域，显示高分辨率图像；对用户视野外的区域，则提供低分辨率图像作为视角移动保护。类似地，tile也可以生成多比特率的版本进行分层传输。

基于tile的传输方法主要分为两种：预分配（Early Tile Binding）和后分配（Late Tile Binding）方案。前一种方案在视频传输前预先配置多种可能的tile分层模式，该方案的优点是计算量小，易执行且交互性强。后一种方案则由客户端决定具体的tile类型和分辨率，其适用于不同的用户视角运动，灵活性好。两种方案相比于原始的全内容高分辨率传输方案而言均更为有效，一般可以节省70%-80%的带宽，具体数值取决于内容与头部运动的复杂性。

总结与展望

本次报告对VR360领域的进展进行了一次全方面的总结，包括行业动态、最新的指导方针和相关的前沿技术。VR360的诞生为视频编码/传输领域带来了许多新的挑战。报告中也提到应将编码与传输紧密结合，才能得到最好的观看体验。

报告PPT全文