高分辨率VR视频直播技术进展
在近日举办的2018年美国广播电视展（NAB）上，各大团队纷纷展示了各自在VR方面的新内容，包括Fraunhofer HHI，Ericsson，Harmonic和Nokia在内的多个VR厂商在展会上呈现了最先进的VR技术和最优质的360度视频内容。
Fraunhofer在世界范围内首次声明，自己的VR团队已经实现了标准条件下超越4K分辨率的实时VR360度视频流的端到端链路，并会在下一届的NAB进行展示。
高分辨率VR360视频的10K采集和实时渲染使用了Fraunhofer HHI Omnicam-360相机以及基于Fraunhofer HHI HEVC编码器和图像块（tile）的实时编码方法。该处理流程是在虚拟现实行业论坛（VRIF）的指导下实现的，同时也参考了MPEG-MOAF基于视角的流媒体配置文件在VR眼镜和电视屏幕进行高质量播放方面的说明。
图1 Omnicam-360
包括Nokia和Imeve（前Nokia OzoLive团队成立的公司）在内的VRIF成员公司均强调了VR360的交互性，并在NAB北展厅的Futures Park内进行了改方面的演示。
VRIF总裁Rob Koenen表示："我们将持续讨论VR部署的现状，这可以从近期的大事件如奥运会中获取相关信息，以及业界如何通过协作和标准化方法更好地推进VR产业。同时，我们也非常高兴看到VRIF成员公司在NAB Futures Park展出他们在VRIF指导下的实际成果。"
Nokia在过去始终对新兴VR行业标准的推动给予了支持，并展开了深入研究。在NAB上，其展示了视角相关视频流的回放系统，该系统可以节省带宽，以较低的分辨率发送用户视角外的VR场景部分。
Imeve展示了用于Live 360和VR视频的专业软件工具，该软件可提供同类型下具有最佳播放质量和可靠性的实景体验。配合Z Cam S1相机，Imeve的相关技术能立即输出可投入使用的6K实时视频流，该视频流体现了以VRIF指南为基础的Live VR360度视频流的格式。
图2 Z Cam S1
Imeve联合创始人兼首席执行官Devon Copley表示："VR360在点播和现场直播两方面所共同面临的巨大挑战之一是需要可互操作的解决方案，以满足诸如超高分辨率，视角自适应流传输和立体视觉等要求。然而任何一家公司都不可能独立解决这些问题，VRIF则发挥着非常重要的作用，使得整个行业的众多参与者可以聚集一堂，共同提供解决方案以满足用户需求。"
Ericsson与Tiledmedia合作，呈现了8K分辨率Live VR服务下高动态范围（HDR）内容的广播，可以与电视播放内容形成同步。该显示方案采用Ericsson的HEVC 360 Live编码器。Ericsson的演示主要是其在IBC2017期间展览内容的延伸，上述研发的编码器尚未投入使用。
图3 参展者正在体验VR
除了通过现场演示的方式吸引参展者外，Ericsson还通过第二屏幕放映HMD（头戴式显示器）、平板电脑甚至超高清（UHD）电视上可播放的360度视频。
根据Ericsson Merged Reality报告，10个早期消费者中有7个认为VR会从本质上改变未来的日常生活，包括从媒体到教育、社交互动的方方面面。同时也有消费者认为虚拟屏幕将在不到一年的时间内取代电视和影院。
Harmonic则展示了沉浸式的8K VR视频点播系统，该VR360系统使用了Harmonic的Cloud SaaS VOS360平台，该平台使用内容感知编码技术EyeQ实现DASH和HLS条件下最低比特率内容的采集，转码和流传输过程。
经过对NAB 2018中VR技术的总览，我们可将Live VR归结为三个部分：头端硬件成像设备、VR直播技术、终端HMD。
正如Fraunhofer HHI通信公司的负责人Kathleen Schröter在IBC 2017的报告中所说，目前主要的瓶颈还在HMD，分辨率、视角、舒适度等都还跟不上头端采集设备的能力。
硬件成像设备主要指的是拍摄360度视频的相机设备。为营造一个全景的视频内容，目前的VR厂商大多采用多摄像头进行拍摄，但是多镜头拍摄特性会引入摄像头同步问题，因此硬件设备还包括各类传感器，多传感器同步工作，以同时记录当前影像以及HMD运动情况。
VR直播技术除了各公司在NAB上介绍的各类实时编码技术外，主要还涉及到视频拼接、视频映射、网络传输三类技术。Live VR与普通直播不同，VR直播需要把采集到的影像拼接成全景的图像，将多镜头拍摄的画面进行亮度色彩调整、对齐、畸变矫正等环节。只有做到质量无损的拼接，快速实时的拼接，才能保证直播的流畅性与舒适感。
视频拼接完之后得到的球面内容目前还未能直接传输，一般利用视频映射技术将全景视频投影至同一个平面，目前的VR研究中通常采用的投影方法有：经纬图投影、圆柱等面积投影、立方体图投影。各投影方法各有优劣，具体的选取还得取决于内容形式以及处理条件。
图4 立方体图投影变换
平面视频经编码后，会进行网络传输。实际系统运行时，所面临的最大问题是上行问题。就目前的网络现状而言，上行带宽可能只占下行带宽的十分之一，因此许多运营商采用选择性推流和码率动态调整的方法缓解拥堵，然而带宽一旦降到很低时，Live VR 体验也会很差。对于下行方面，采取的都是直播当中普遍的技术，比如 RTMP、HTTP 、FLV 等，同时，还会在云端做一个多码率的措施，使用云转码生成多码率的视频，以保证用户的基础体验。
图5 Live VR显示画面
当视频流分发到用户端之后，需要HMD进行视频流呈现。这一端是直接面对用户的，所以应更多考虑用户体验。VR及Live VR 最需要的便是沉浸感，还要让用户有身临其境的临场感，同时还需要有很方便的交互方式。此外，与传统直播平台相同的功能也需要实现，如高性能的解码播放，低延迟，秒开、低卡顿时间，音画同步等等。HMD方面的近期进展，可参阅本公众号前期的帖子（题目：《2018，VR将冲破束缚》，2018.3.3）
总结
NAB 2018上展现的各类VR技术与产品让我们对虚拟现实充满了兴趣和希望。但具备优良沉浸感、舒服感、交互性的虚拟现实距离真正的实现还有一段路要走，虚拟现实的诸多关键技术还需完善和标准化。不过，众多技术公司、科研团队投入VR的现状也让我们相信，这段路的尽头并没有那么遥远。
参考：
https://www.ibc.org/consumption/fraunhofer-leads-live-vr-demo-at-nab/2763.article
http://vr.ofweek.com/news/2017-06/ART-81500-8600-30141687.html
http://www.vrzy.com/vr/65750.html