专栏首页镁客网VR音频,内容制作背后不可忽视的关键

VR音频,内容制作背后不可忽视的关键

当我们观看VR视频时,往往会有种错觉,听得到耳机里有声音,但是却搞不清声音从哪里传来;或者是偏个头换了观看视角,但是声音并没有随着我们的视角“转过来”,它仍然在原来的地方。确实,如果VR内容里的音频处理不好,沉浸式体验效果将会大打折扣。比如小编之前玩过一个VR射箭游戏,虽然人是在虚拟环境里,但是耳朵里听到的都是外面嘈杂的环境声。

什么是VR音频

VR音频的概念,其实可以和3D音频挂钩。简而言之,VR音频,就是通过耳机或者音箱,结合头部追踪等技术,让体验者在转动头部等动作的时候可以听到自己各个方向不同距离和强度的声音。

通俗来说,就是用户在现场实际能听到,能带来临场感的声音。有做VR音频的业内人士介绍道,“比如说在酒馆里的一个场景,大家在讨论、喝酒以及各种聊天的声音,你在那儿听的声音就应该是你觉得在现场的声音,而且要和视频无缝对接。”

但是相比较现在VR体验上的一些眩晕、视觉上的问题,声音其实被很多人忽视了。不过随着越来越多的公司进入到VR视频内容创作领域中,VR音频正在成为大家攻坚的一个新方向。

在VR音频中,这些公司在行动

传统的音频技术公司杜比实验室,和专注于VR视频拍摄制作的Jaunt展开合作,在Jaunt的VR内容融入了杜比全景声,用户通过Jaunt VR应用可以轻松访问到所有支持杜比全景声的虚拟现实体验。

2015年4月,谷歌收购了专门为VR打造现实音效的初创公司Thrive Audio,THRIVE Audio是一家诞生于都柏林大学圣三一学院(Trinity College Dublin)工程系的公司,它专注于设计可以体验3D音频的耳机。

2016年5月份,Facebook收购VR音频公司Two Big Ears。Two Big Ears是一家位于苏格兰的初创型企业,专门为全景视频等内容打造空间音效。Two Big Ears把其音频软件免费提供给感兴趣的VR内容制作人,而Facebook借此机会来吸引更多的人打造VR内容。

英伟达推出专门用于虚拟现实场景的“VRWorks Audio”音频技术,VRWorks Audio利用英伟达OptiX光迹追踪引擎,能够即时追踪环境中的多个声音路径,真实的反映出周围环境中物体的大小、形状和材料。

Oculus授权VisiSonic的音频技术,并最终将其融入Oculus Audio SDK 中。这项技术经过定制的HRTF算法,可以实时计算出游戏世界中声源的方位与距离信息。

2017年,Valve收购了一家叫Impulsonic的VR音频公司,该公司为游戏开发者创建了基于物理原理的空间音频定位软件。他们的产品Phonon 3D可以让开发者为他们的3D环境及VR体验增加双声道3D音频。

对于普通消费者来说,或许会疑惑,如何在只有双声道立体声输出的耳机上听到来自各个方向的声音呢?其实,如果想要得到理想的VR音频,从音频的采集到编辑制作以及最后的合成输出,整个流程需要攻克很多技术难题。目前业内比较成熟的解决方案也不少,但是大部分都还停留在理论的层面,实际应用的案例少之又少。

VR音频如何采集录制?

HRTF(人头传递函数)

首先我们科普一下一种叫做双耳录音(Binaural recording)的技术。这个技术能够逼真的模拟人耳对声音定位以及频率的响应。HRTF就是基于这个技术用数学模型来建模的一种音频定位算法。通过HRTF的算法,能够在最终输出的音频中还原出音源的方向和距离。

在实际运用中,HRTF可以想象成是一个滤波器,对原始声音进行频段上的调整,使其接近人耳接收到的听感效果。

Waves的Nx技术

Waves的Nx技术核心是用算法将传统录音中缺失的信息插入到信号中,以此来让大脑在聆听音乐时获得空间感。为了增强现场感,Nx技术还允许用户键入个人头部及耳朵的尺寸信息,算法可以根据这些信息进行实时调整。

它提供了一个叫Head Tracker 硬件,这个集成了陀螺仪的硬件可以绑定到耳机上,然后电脑实时计算陀螺仪变化后声像的变化,再配合英特尔的Real Sense摄像头,Waves提供的软件就能追踪头部移动,在耳机中获得具有沉浸感的声音体验。

Ambisonics

Ambisonics是一种研发于上个世界70年代的球形环绕声技术。它既是一种录音制式,也是一种编解码算法。

从录音制式来看,Ambisonics可以理解为是M/S立体声录音制式的三维扩展,以一定方式组合的四个振膜阵列记录了具有高度和深度信息的四轨声音信号。

从编解码方式来看,采用 Ambisonics 方式录制得到的声音信号可以通过计算变换后,以双声道立体声、5.1、7.1,甚至是11.1、22.2等各种多声道环绕声格式来输出。另外,Ambisonics可以作为一种音频文件格式用于保存和流通,YouTube在去年推出的支持全景视频的音频格式就采用了Ambisonics技术。

无论是采取哪种形式采集录制VR音频,最终的目的都是能够在VR中感受到真正具有沉浸感的声音。总的来说,相比较2016年前半段时间,现在已经有越来越多的大公司开始布局VR音频。不过想要真正实现虚拟现实中的临场音频效果,还需要面对采集成本、现场干扰等等因素,路漫漫其修远兮,VR音频还需要“上下求索”。

本文分享自微信公众号 - 镁客网(im2maker),作者:巫盼

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-01-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 游戏和硬件都要做,锤子VR或单独对外融资

    镁客网
  • 华渔欲打造VR教育编辑器中的“美图秀秀”

    镁客网
  • 「镁客·请讲」悦诚科技顾斌:资本泡沫已过,行业应集体反思,优先做好产品

    镁客网
  • 当VR画面可以做的很逼真时,VR音频的发展又如何呢?

    VR可以说是当下最火热的科技趋势之一,但VR音频技术却从没有在专业音频领域获得热捧。虽然音频技术几乎是和视频服务一起进入市场,但在VR游戏、VR电影等中的表现却...

    VRPinea
  • 硅谷之声第二期:当人工智能遇到虚拟现实

    数据猿导读 4月27日下午,由数据猿、BitTiger、微软加速器·北京联合主办的硅谷之声论坛第二期在微软亚太研发总部召开。本次论坛的主题为AI in VR,数...

    数据猿
  • 开放世界玩法、PC/VR双布局…尝试探索新题材的VR游戏《故土》表现如何?

    纵观当前VR游戏市场,以追求刺激感官为首要目的的VR游戏比比皆是,这些游戏产品也更多的为线下VR体验馆所接受。真正面向C端的VR游戏大作是近年来整个市场所缺失的...

    VRPinea
  • 9.11 VR扫描:第75届威尼斯电影节公布三款VR获奖作品;索尼公布新作《大众高尔夫VR》

    今日,第75届威尼斯国际电影节公布了VR竞赛单元的三个获奖名单,分别是最佳VR大奖(沉浸式故事)《Spheres》、最佳VR体验大奖(交互式内容)《Buddy ...

    VRPinea
  • 眼动追踪与VR

    虚拟现实创造了体验没有或不可能存在的世界的可能性。这种功能大大增加了研究人员的实验设置范围。测试场景不需要再受时间、安全、预算(甚至物理定律)等因素的限制。可以...

    脑机接口社区
  • 大朋VR一体机每周新游推荐:去《骷髅海》当个海盗吧!

    VRPinea
  • 「公开课实录」睿悦信息 Nibiru 贾涛:从 GDC 2016 看 VR 产业新趋势

    镁客网

扫码关注云+社区

领取腾讯云代金券