高分辨率VR视频直播技术进展

在近日举办的2018年美国广播电视展(NAB)上,各大团队纷纷展示了各自在VR方面的新内容,包括Fraunhofer HHI,Ericsson,Harmonic和Nokia在内的多个VR厂商在展会上呈现了最先进的VR技术和最优质的360度视频内容。

Fraunhofer在世界范围内首次声明,自己的VR团队已经实现了标准条件下超越4K分辨率的实时VR360度视频流的端到端链路,并会在下一届的NAB进行展示。

高分辨率VR360视频的10K采集和实时渲染使用了Fraunhofer HHI Omnicam-360相机以及基于Fraunhofer HHI HEVC编码器和图像块(tile)的实时编码方法。该处理流程是在虚拟现实行业论坛(VRIF)的指导下实现的,同时也参考了MPEG-MOAF基于视角的流媒体配置文件在VR眼镜和电视屏幕进行高质量播放方面的说明。

图1 Omnicam-360

包括Nokia和Imeve(前Nokia OzoLive团队成立的公司)在内的VRIF成员公司均强调了VR360的交互性,并在NAB北展厅的Futures Park内进行了改方面的演示。

VRIF总裁Rob Koenen表示:"我们将持续讨论VR部署的现状,这可以从近期的大事件如奥运会中获取相关信息,以及业界如何通过协作和标准化方法更好地推进VR产业。同时,我们也非常高兴看到VRIF成员公司在NAB Futures Park展出他们在VRIF指导下的实际成果。"

Nokia在过去始终对新兴VR行业标准的推动给予了支持,并展开了深入研究。在NAB上,其展示了视角相关视频流的回放系统,该系统可以节省带宽,以较低的分辨率发送用户视角外的VR场景部分。

Imeve展示了用于Live 360和VR视频的专业软件工具,该软件可提供同类型下具有最佳播放质量和可靠性的实景体验。配合Z Cam S1相机,Imeve的相关技术能立即输出可投入使用的6K实时视频流,该视频流体现了以VRIF指南为基础的Live VR360度视频流的格式。

图2 Z Cam S1

Imeve联合创始人兼首席执行官Devon Copley表示:"VR360在点播和现场直播两方面所共同面临的巨大挑战之一是需要可互操作的解决方案,以满足诸如超高分辨率,视角自适应流传输和立体视觉等要求。然而任何一家公司都不可能独立解决这些问题,VRIF则发挥着非常重要的作用,使得整个行业的众多参与者可以聚集一堂,共同提供解决方案以满足用户需求。"

Ericsson与Tiledmedia合作,呈现了8K分辨率Live VR服务下高动态范围(HDR)内容的广播,可以与电视播放内容形成同步。该显示方案采用Ericsson的HEVC 360 Live编码器。Ericsson的演示主要是其在IBC2017期间展览内容的延伸,上述研发的编码器尚未投入使用。

图3 参展者正在体验VR

除了通过现场演示的方式吸引参展者外,Ericsson还通过第二屏幕放映HMD(头戴式显示器)、平板电脑甚至超高清(UHD)电视上可播放的360度视频。

根据Ericsson Merged Reality报告,10个早期消费者中有7个认为VR会从本质上改变未来的日常生活,包括从媒体到教育、社交互动的方方面面。同时也有消费者认为虚拟屏幕将在不到一年的时间内取代电视和影院。

Harmonic则展示了沉浸式的8K VR视频点播系统,该VR360系统使用了Harmonic的Cloud SaaS VOS360平台,该平台使用内容感知编码技术EyeQ实现DASH和HLS条件下最低比特率内容的采集,转码和流传输过程。

经过对NAB 2018中VR技术的总览,我们可将Live VR归结为三个部分:头端硬件成像设备、VR直播技术、终端HMD。

正如Fraunhofer HHI通信公司的负责人Kathleen Schröter在IBC 2017的报告中所说,目前主要的瓶颈还在HMD,分辨率、视角、舒适度等都还跟不上头端采集设备的能力。

硬件成像设备主要指的是拍摄360度视频的相机设备。为营造一个全景的视频内容,目前的VR厂商大多采用多摄像头进行拍摄,但是多镜头拍摄特性会引入摄像头同步问题,因此硬件设备还包括各类传感器,多传感器同步工作,以同时记录当前影像以及HMD运动情况。

VR直播技术除了各公司在NAB上介绍的各类实时编码技术外,主要还涉及到视频拼接、视频映射、网络传输三类技术。Live VR与普通直播不同,VR直播需要把采集到的影像拼接成全景的图像,将多镜头拍摄的画面进行亮度色彩调整、对齐、畸变矫正等环节。只有做到质量无损的拼接,快速实时的拼接,才能保证直播的流畅性与舒适感。

视频拼接完之后得到的球面内容目前还未能直接传输,一般利用视频映射技术将全景视频投影至同一个平面,目前的VR研究中通常采用的投影方法有:经纬图投影、圆柱等面积投影、立方体图投影。各投影方法各有优劣,具体的选取还得取决于内容形式以及处理条件。

图4 立方体图投影变换

平面视频经编码后,会进行网络传输。实际系统运行时,所面临的最大问题是上行问题。就目前的网络现状而言,上行带宽可能只占下行带宽的十分之一,因此许多运营商采用选择性推流和码率动态调整的方法缓解拥堵,然而带宽一旦降到很低时,Live VR 体验也会很差。对于下行方面,采取的都是直播当中普遍的技术,比如 RTMP、HTTP 、FLV 等,同时,还会在云端做一个多码率的措施,使用云转码生成多码率的视频,以保证用户的基础体验。

图5 Live VR显示画面

当视频流分发到用户端之后,需要HMD进行视频流呈现。这一端是直接面对用户的,所以应更多考虑用户体验。VR及Live VR 最需要的便是沉浸感,还要让用户有身临其境的临场感,同时还需要有很方便的交互方式。此外,与传统直播平台相同的功能也需要实现,如高性能的解码播放,低延迟,秒开、低卡顿时间,音画同步等等。HMD方面的近期进展,可参阅本公众号前期的帖子(题目:《2018,VR将冲破束缚》,2018.3.3)

总结

NAB 2018上展现的各类VR技术与产品让我们对虚拟现实充满了兴趣和希望。但具备优良沉浸感、舒服感、交互性的虚拟现实距离真正的实现还有一段路要走,虚拟现实的诸多关键技术还需完善和标准化。不过,众多技术公司、科研团队投入VR的现状也让我们相信,这段路的尽头并没有那么遥远。

参考:

https://www.ibc.org/consumption/fraunhofer-leads-live-vr-demo-at-nab/2763.article

http://vr.ofweek.com/news/2017-06/ART-81500-8600-30141687.html

http://www.vrzy.com/vr/65750.html

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2018-04-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏编程软文

强烈推荐:程序员遇到瓶颈期该怎么解决?

1446
来自专栏Python数据科学

Stack Overflow 用户画像数据分析

来源 | https://github.com/AAAlvin/Project_Folder/

5746
来自专栏行者悟空

项目进度估算难题

1752
来自专栏大数据文摘

第一次民间版知乎用户分析报告

3678
来自专栏牛客网

跨方向,阿里数据研发九面面经(内推转校招)+书籍推荐自我总结

说了九次面试感觉我是大神,拿了SP之类,其实并不是,内情就是内推转为了校招,内推五次面试,校招四次面试,在加校招的笔试。本帖子适用于跨专业的人士。sp勿喷,有错...

5219
来自专栏VRPinea

VR演讲抢先看,GDC上的VR从业者们都在聊什么!

3748
来自专栏DevOps时代的专栏

台湾资深老专家:你是不是又在假敏捷?

许多IT主管或是工程师,都把敏捷开发误以为是一种快速交付的方法,就因为它比传统开发方法快一些,因此我们常常听到主管们在会议上抱怨:“不是已经在RUN敏捷开发了吗...

1600
来自专栏鹅厂网事

Tencent OLS OPC-4 适配商用600G传输系统测试成功

"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在...

4863
来自专栏CDA数据分析师

疯狂树懒变身超级阿尔法狗,数据分析师必学四大精髓

? 作为一个数据分析人员,有没有经常被业务人员抱怨报表出的太慢、被工程师嫌弃埋点沟通不精准、甚至被老板怀疑并没有创造什么商业价值……. 好好学习这四步分...

2088
来自专栏PPV课数据科学社区

【推荐】广告主不知道的13条数据

1在刷朋友圈时间上,“60前”平均花费时间的最小值为47分钟,“90后”为42分钟。 ? 各年龄组平均刷朋友圈时间最小值估计,腾讯研究院 2015年6月 “60...

3539

扫码关注云+社区

领取腾讯云代金券