高分辨率VR视频直播技术进展

在近日举办的2018年美国广播电视展(NAB)上,各大团队纷纷展示了各自在VR方面的新内容,包括Fraunhofer HHI,Ericsson,Harmonic和Nokia在内的多个VR厂商在展会上呈现了最先进的VR技术和最优质的360度视频内容。

Fraunhofer在世界范围内首次声明,自己的VR团队已经实现了标准条件下超越4K分辨率的实时VR360度视频流的端到端链路,并会在下一届的NAB进行展示。

高分辨率VR360视频的10K采集和实时渲染使用了Fraunhofer HHI Omnicam-360相机以及基于Fraunhofer HHI HEVC编码器和图像块(tile)的实时编码方法。该处理流程是在虚拟现实行业论坛(VRIF)的指导下实现的,同时也参考了MPEG-MOAF基于视角的流媒体配置文件在VR眼镜和电视屏幕进行高质量播放方面的说明。

图1 Omnicam-360

包括Nokia和Imeve(前Nokia OzoLive团队成立的公司)在内的VRIF成员公司均强调了VR360的交互性,并在NAB北展厅的Futures Park内进行了改方面的演示。

VRIF总裁Rob Koenen表示:"我们将持续讨论VR部署的现状,这可以从近期的大事件如奥运会中获取相关信息,以及业界如何通过协作和标准化方法更好地推进VR产业。同时,我们也非常高兴看到VRIF成员公司在NAB Futures Park展出他们在VRIF指导下的实际成果。"

Nokia在过去始终对新兴VR行业标准的推动给予了支持,并展开了深入研究。在NAB上,其展示了视角相关视频流的回放系统,该系统可以节省带宽,以较低的分辨率发送用户视角外的VR场景部分。

Imeve展示了用于Live 360和VR视频的专业软件工具,该软件可提供同类型下具有最佳播放质量和可靠性的实景体验。配合Z Cam S1相机,Imeve的相关技术能立即输出可投入使用的6K实时视频流,该视频流体现了以VRIF指南为基础的Live VR360度视频流的格式。

图2 Z Cam S1

Imeve联合创始人兼首席执行官Devon Copley表示:"VR360在点播和现场直播两方面所共同面临的巨大挑战之一是需要可互操作的解决方案,以满足诸如超高分辨率,视角自适应流传输和立体视觉等要求。然而任何一家公司都不可能独立解决这些问题,VRIF则发挥着非常重要的作用,使得整个行业的众多参与者可以聚集一堂,共同提供解决方案以满足用户需求。"

Ericsson与Tiledmedia合作,呈现了8K分辨率Live VR服务下高动态范围(HDR)内容的广播,可以与电视播放内容形成同步。该显示方案采用Ericsson的HEVC 360 Live编码器。Ericsson的演示主要是其在IBC2017期间展览内容的延伸,上述研发的编码器尚未投入使用。

图3 参展者正在体验VR

除了通过现场演示的方式吸引参展者外,Ericsson还通过第二屏幕放映HMD(头戴式显示器)、平板电脑甚至超高清(UHD)电视上可播放的360度视频。

根据Ericsson Merged Reality报告,10个早期消费者中有7个认为VR会从本质上改变未来的日常生活,包括从媒体到教育、社交互动的方方面面。同时也有消费者认为虚拟屏幕将在不到一年的时间内取代电视和影院。

Harmonic则展示了沉浸式的8K VR视频点播系统,该VR360系统使用了Harmonic的Cloud SaaS VOS360平台,该平台使用内容感知编码技术EyeQ实现DASH和HLS条件下最低比特率内容的采集,转码和流传输过程。

经过对NAB 2018中VR技术的总览,我们可将Live VR归结为三个部分:头端硬件成像设备、VR直播技术、终端HMD。

正如Fraunhofer HHI通信公司的负责人Kathleen Schröter在IBC 2017的报告中所说,目前主要的瓶颈还在HMD,分辨率、视角、舒适度等都还跟不上头端采集设备的能力。

硬件成像设备主要指的是拍摄360度视频的相机设备。为营造一个全景的视频内容,目前的VR厂商大多采用多摄像头进行拍摄,但是多镜头拍摄特性会引入摄像头同步问题,因此硬件设备还包括各类传感器,多传感器同步工作,以同时记录当前影像以及HMD运动情况。

VR直播技术除了各公司在NAB上介绍的各类实时编码技术外,主要还涉及到视频拼接、视频映射、网络传输三类技术。Live VR与普通直播不同,VR直播需要把采集到的影像拼接成全景的图像,将多镜头拍摄的画面进行亮度色彩调整、对齐、畸变矫正等环节。只有做到质量无损的拼接,快速实时的拼接,才能保证直播的流畅性与舒适感。

视频拼接完之后得到的球面内容目前还未能直接传输,一般利用视频映射技术将全景视频投影至同一个平面,目前的VR研究中通常采用的投影方法有:经纬图投影、圆柱等面积投影、立方体图投影。各投影方法各有优劣,具体的选取还得取决于内容形式以及处理条件。

图4 立方体图投影变换

平面视频经编码后,会进行网络传输。实际系统运行时,所面临的最大问题是上行问题。就目前的网络现状而言,上行带宽可能只占下行带宽的十分之一,因此许多运营商采用选择性推流和码率动态调整的方法缓解拥堵,然而带宽一旦降到很低时,Live VR 体验也会很差。对于下行方面,采取的都是直播当中普遍的技术,比如 RTMP、HTTP 、FLV 等,同时,还会在云端做一个多码率的措施,使用云转码生成多码率的视频,以保证用户的基础体验。

图5 Live VR显示画面

当视频流分发到用户端之后,需要HMD进行视频流呈现。这一端是直接面对用户的,所以应更多考虑用户体验。VR及Live VR 最需要的便是沉浸感,还要让用户有身临其境的临场感,同时还需要有很方便的交互方式。此外,与传统直播平台相同的功能也需要实现,如高性能的解码播放,低延迟,秒开、低卡顿时间,音画同步等等。HMD方面的近期进展,可参阅本公众号前期的帖子(题目:《2018,VR将冲破束缚》,2018.3.3)

总结

NAB 2018上展现的各类VR技术与产品让我们对虚拟现实充满了兴趣和希望。但具备优良沉浸感、舒服感、交互性的虚拟现实距离真正的实现还有一段路要走,虚拟现实的诸多关键技术还需完善和标准化。不过,众多技术公司、科研团队投入VR的现状也让我们相信,这段路的尽头并没有那么遥远。

参考:

https://www.ibc.org/consumption/fraunhofer-leads-live-vr-demo-at-nab/2763.article

http://vr.ofweek.com/news/2017-06/ART-81500-8600-30141687.html

http://www.vrzy.com/vr/65750.html

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2018-04-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯云安全的专栏

TenSec 2018:腾讯云天御助力营销场景反欺诈

导读 10月10日上午,2018腾讯安全国际技术峰会(TenSec)在深圳举行。腾讯云高级研究员陈炳文在峰会上带来了题为《The Application of...

2.8K1
来自专栏腾讯研究院的专栏

微信行为学:注意力是最稀缺的社交资源

汪丁丁 北京大学国家发展研究院经济学教授   微信也有行为学?   行为学研究动物(包括人类)乃至植物的行为,基于实证研究方法,逐渐深入,心理学和认知...

3876
来自专栏新智元

【AI版纸牌屋】特朗普团队操纵大数据+AI左右竞选引舆论哗然

【新智元导读】一家名叫Cambridge Analytica的数据分析公司成了这两天新闻的焦点,他们使用大数据和AI分析Facebook用户资料,操纵舆论帮助特...

2997
来自专栏大数据文摘

【牛!】物理学博士教你怎样分析微博数据,怎样涨粉

1023
来自专栏java一日一条

一流程序员完全可以有编程之外的生活

不知从何时起,对程序员的变相苛求成了软件开发类公司的通病,包括:嘴上不说,却暗示他们就该焚膏继晷地编程;因为某人不热衷给开源项目做贡献,就直接端掉他的竞职机会;...

443
来自专栏镁客网

加州大学研发柔性外骨骼数据手套,让你在VR中自由地弹钢琴

1765
来自专栏AI启蒙研究院

乐高魔方机器人

601
来自专栏PPV课数据科学社区

大数据时代,科技走到了宗教尽头

PPV课大数据 这是一个人人都言“大数据”的时代,然“大数据”存在于何处?影响于何处?难免,普通大众被席卷而来的“大数据”之潮迷乱了眼睛,搅乱了思绪。正是在这样...

2933
来自专栏大数据挖掘DT机器学习

【热点】大数据能让博彩公司破产

谈到数据分析,有些行业一直遥遥领先。博彩业就是其中之一。不过,大数据技术也正在使博彩业的“预测”能力大众化,这对于博彩公司而言是一个坏消息。利用大数据帮助投注者...

3785
来自专栏AI产品经理

产品经理·杂谈

//02.01-2018更新 - 增加:13.0

2188

扫码关注云+社区