Google VR方案总结

在2014年,Google推出了一款价格低廉的DIY设备Cardboard,实现所有的手机都可以变身“VR查看器”,它与Facebook旗下的Oculus推出的高端VR设备形成了鲜明的对比。而如今,白手起家的Google已经凭借其各种高端交互式设备站到了VR和AR技术领域的最前沿。

本篇对Google VR方案的总结将沿着全景媒体从生产制作到内容分发,最后进行显示呈现为线索,逐步探寻Google近年来在VR方案上的关键技术点和产品设计。

图1 Google全景媒体关键技术

Google Jump全景摄像装置

在全景媒体应用框架的输入口,Google推出了Google Jump,它是由GoPro镜头组、自动拼接软件和播放平台3部分组成。Jump拍摄的原始视频经过JUMP应用转换后,会生成非常逼真的3D虚拟现实视频。严格来讲,Jump是Google虚拟现实视频内容制作的设备,它最重要的意义在于降低虚拟现实内容制作和消费的门槛,让虚拟现实变得触手可及。

图2 YI HALO实体图

今年,Google正式推出了下一代Jump相机YI HALO,它是由17个相机组合而成,包括环形区域的16个4K运动相机和顶部的一个相机,比Go Pro Odyssey的3D视频体验效果更好。目前,YI HALO可以拍摄高质量的8K x 8K每秒30帧,或5.8K x 5.8K每秒60帧的360°VR视频。

ETC2Comp编码技术与Draco压缩库

在编码压缩这一环节,Google发布了ETC2Comp技术,它是一款用于游戏和VR开发的编码器[1]。在编码360视频的过程中,ETC2Comp通过部署一些优化技术,可以以更快的速度获得高质量的视觉效果。在优化策略中,ETC2Comp通过“定向块”的搜索方式有针对性的获得给定块的最佳编码方式,这种压缩方式可以比暴力法快得多。在代码方面,由于每个视频块可以进行独立编码,ETC2Comp采用了高度多线程。此外,Chrome Media团队创建了Draco,这是一个开源的压缩库,用于改善3D图像的存储和传输性能。Draco压缩库提高了3D图像的压缩效率而不会影响视觉保真度。对于用户端来说,下载的速度更快,在浏览器中的3D图像也可以更快的加载,并且减小了VR场景的带宽传输压力,使得全景内容能快速呈现。

图3 Draco的压缩效果对比结果图

空间化音频技术

除了对全景视频方面的处理,Google VR团队还在整个全景媒体框架中引入了空间化音频技术,通过将空间音频引入网页,浏览器可以转换成一个完整的VR媒体播放器[2]。如图4所示,用户可以听到浏览器上的360度环绕声。解码器能记录包含4通道的音频,然后将其解码,并满足任意的扬声器条件。此外,使用8个虚拟扬声器,代替实际的扬声器阵列,以双向呈现最终音频流。这种双耳呈现的音频可以在通过耳机听到时传达空间感,为在网络上更加沉浸式的VR体验发挥了关键作用。

图4 空间化音频技术的流程图

WebVR平台

目前VR市场产品众多,无论在硬件还是内容服务上尚无法形成统一标准。而WebVR的出现,能够让诸多VR头显设备或是VR手机在获取内容的方式上统一。WebVR提出了一个关于VR网络应用的开放性标准,即用户可以直接通过浏览器观看VR内容。在2017年2月,Google已提出在Chrome浏览器上植入WebVR,让VR体验更加便捷。为了开发更多的WebVR的功能,Google推出了WebVR Experiments,内部包含了VR开发者尚在开发的各种VR体验的设计,如下图5的右图所示,是Creative Lab和NASA JPL合作设计的“Access Mars”体验[3]。

图5 移动端WebVR以及Access Mars设计截图

WebVR提出的概念改变了对VR头戴式显示设备等终端设备的理解,从以往的观看内容的方法转变为观看内容的工具,而这观看内容的方法就是WebVR平台。这样跨平台的特性快速促进了VR内容生产制作和观看呈现在技术标准等方面达成一个统一行业标准的过程。

基于ODS模型的渲染技术

在渲染方面,Google设计了一个映射模型ODS(Omni-directional stereo)在头显设备上渲染全景视频,这个映射模型只捕获每个摄像机的中心射线,并借用其他摄像机的其他射线方向,如图6所示。所以这种光线捕获方法呈现在左右眼的射线几何将会变得更加的立体和全方位。ODS采用的是预渲染方式,在头戴式设备中播放都非常的流畅。

图6 基于ODS模型的光线捕获模式

头戴式显示设备

不同于高昂价格的VR头显Oculus Rift和HTC Vive,Google推出的Cardboard的价格不过在30美元左右。如图7所示,Google Cardboard是一个以透镜、磁铁、魔鬼毡以及橡皮筋组合,再搭配上智能手机组成一个VR头戴式显示器,形成了一套接近专业水准的VR设备,提供虚拟现实体验。

图7 Cardboard头显实体图

在2016年,Google首次介绍了Daydream平台,这是一个将Android设备与新一代虚拟现实头戴设备整合的平台。Google首先对于硬件提出具体的标准以及系统层面的优化,给予了手机生产商和芯片制造商一个参考标准,其次进一步提升了移动设备在呈现虚拟现实内容上的体验,名为Daydream Home的虚拟现实商店能够让人们直接带着头盔浏览所有内容,包括各种游戏、App和视频等。Daydream建立了移动 VR 头显的可参考设计,在 Android底层强化了智能手机反应速度的 VR 模式、以及建立 VR 内容平台基于此,Daydream 将 VR 从底层到 UI 全部串联,在系统端保证 20ms 内的延迟性能和对开发者友好的系统优化。

Daydream平台诞生前,虚拟现实内容缺少一个整合。而Daydream的诞生正是为了解决这个问题,至少是在Android系统中。它能够将所有内容,包括开发人员、App、游戏和视频整合到统一平台进行浏览。

此外,Google正在为Daydream平台研发一款VR一体机,预计发布时间在2017年后半年。研发的VR一体机可支持Inside-out追踪技术,采用了谷歌研发的计算机视觉技术Worldsense(Tango),该技术不需要任何额外的信号灯塔、传感器来实现6 DoF定位追踪能力,还可以实时渲染周边环境。

虽然Google加入VR领域迟于Facebook,但发展势头很猛,相比于Facebook有自己社交平台的优势,Google也致力于以Android操作系统为核心的VR应用,比如Daydream,同时也在推行一体化VR头盔,即不再需要连接智能手机或电脑。不同于Facebook收购Oculus公司开发Rift头戴式设备,Google从硬件到生产到内容输出正在构建闭环系统和框架,在前后端继续致力于全景媒体应用领域进行研究。

参考文献

[1] Colt McAnlis. ETC2Comp: fast texture compression for games and VR[EB/OL]. https://opensource.googleblog.com/2016/11/etc2comp-fast-texture-compression.html, 2016-12-14.

[2] Hongchan Choi, Raymond Toy. Omnitone: Spatial audio on the web[EB/OL]. https://opensource.googleblog.com/2016/07/omnitone-spatial-audio-on-web.html, 2016-7-25.

[3] Google Creative Lab, NASA JPL. Access Mars[EB/OL]. https://experiments.withgoogle.com/webvr/access-mars, 2017.

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2017-11-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏互联网杂技

2018年的用户体验状况

这是由一位美国作者站在美国的视角写的文章,即便抛开个人因素不谈,国内外的发展进度并不完全同步。例如情感化反馈这一块也许国内稍稍落后一点、但是移动支付和AR却要快...

2718
来自专栏程序员互动联盟

给年轻程序员的几句话

我收到了不少新手的来信,他们都希望能成长为一名真正的程序员。我绝对不是第一个谈论这个话题的人,所以,我不知道应该做哪方面的补充。不管怎样,下面的是一些一直记在我...

3349
来自专栏安恒信息

iPhone6发布在即,需警惕钓鱼邮件

近日,国外媒体发布报告,确认苹果将在9月9日发布iPhone6。监测发现,有网络不法分子打着iPhone6的幌子,采用垃圾邮件、网络钓鱼等手段试图骗取用...

3399
来自专栏互联网数据官iCDO

教你5招快速掌握SEO基本技巧!

这个数据告诉我们,SEO永远都重要。如果你从事营销工作,或运营一个博客,或是经营自己的生意,知道SEO的基础知识是非常重要的。

964
来自专栏带你撸出一手好代码

编程语言之间的差别真有那么大吗?

软件开发是一种特殊的职业,特殊到有点匪夷所思,行业从业人员的工种分类非常的不稳定, 比如说古时候有C工程师、C++工程师、VB工程师,后来有了Java工程师、....

42810
来自专栏数据派THU

数据蒋堂 | 不要对自助BI期望过高

来源:数据蒋堂 作者:蒋步星 本文长度为1800字,建议阅读5分钟 本文分三个层面讨论自助BI是否能够真正满足用户需求。 从早期的多维分析(OLAP)到近年来的...

19410
来自专栏SDNLAB

创建新一代数据中心的最佳方式是什么?

编者按:围绕“创建新一代数据中心的最佳方式是什么? ”VMware和Cisco展开辩论,所谓“王婆卖瓜自卖自夸”,一个力推自己子公司产品中的网络虚拟化技术,另一...

2575
来自专栏PHP在线

编程能力的 4 种境界

原文出处: 外刊IT评论 人类心理学研究中的一个基础支撑科目就是分析人的潜意识和意识。 弗洛伊德是最早的一位能够清楚的认定和描述我们的心理活动“领域”的人。 在...

3336
来自专栏大数据文摘

【干货】吴甘沙清华讲:大数据的10个技术前沿(上)

1655
来自专栏CDA数据分析师

电商数据分析基础方法:分拆,跟着用户走

在理解了要选择怎样的指标来衡量各项业务之后,我们可以对业务有一个客观和全面的把握,可是数字本身无法告诉我们发生了什么事情,怎样可以改进。为了得到更深入的信息,我...

2096

扫码关注云+社区