空间音频技术是如何增强沉浸式体验的？| ARVR

- Apple的3D声音

Apple正在开发一种新的音频格式，即使在用户移动，戴着“ Apple Glass ”或其他AR设备时，也可以更轻松沉浸式地在用户周围放置“3d声音”。

Apple希望建立一种音频格式，例如.MP3或.AAC，并结合了AR所需的额外空间信息。该格式不仅需要包含实际的音频，而且还远远超出在立体声图片的左侧还是右侧播放元素的范围。苹果以前曾与皮克斯合作开发一种名为USDZ的格式，该格式用于将音频放置在用户周围的3D空间中。

“在增强现实（AR），虚拟现实（VR）和混合现实（MR）应用程序中产生三维（3D）声音效果是具有挑战性的……因为现有的音频格式最初是为在物理环境中产生3D声音而设计的具有固定的扬声器位置和固定的听众。”

苹果将AR，VR和MR统称为“模拟现实”（SR），并表示希望在许多现有3D音频格式的基础上发展。例如，旨在产生3D声音的空间音频格式包括MPEG-H 3D音频标准，HOA空间音频技术和DOLBY ATMOS环绕声技术。

问题既与观众感知声音的位置有关，也与创作者可以选择放置效果或音乐的地方有关。苹果公司说：“在SR环境中产生3D声音效果的一种替代方法是操纵音频对象中包含的各个离散声音，这些声音实际上可以位于3D环境中的任何位置。”

苹果公司提出的解决方案是创建一种格式，该格式类似于.m4v和.mp4是将不同元素组合在一起的格式。对于苹果公司对空间音频的新要求，该公司建议创建一个音频资产库，其中包括资产元数据，使模拟现实（SR）应用程序开发人员能够为SR应用程序编写声音。”

苹果公司说：“音频经过了格式化，包括音频数据，这些数据编码了能够被编入SR应用程序的声音，以及资产元数据，不仅描述了声音的编码方式，而且还描述了SR环境中听众的感受。

- Facebook Reality Labs

Facebook Reality Labs研究小组最近也分享了一些关于AR的音频项目。该小组的目标是将技术融入到AR眼镜中，通过在嘈杂的环境中轻松隔离对话声音，增强你的听力，并能够重现虚拟声音，让它们看起来像是来自你周围的真实世界。自定义的HRTF是提供这种体验的关键，它是每个人根据头部和耳朵形状听到声音的独特方式的数字版本，但这个过程既耗时又昂贵。该团队正在研究一种可扩展的解决方案，可以从你的耳朵的一张简单照片生成精确的HRTF。

Facebook研究人员还说，可以将这些信息添加到LiveMaps中，并由同一空间中的其他设备重新调用，从而可以随着时间的推移通过人群改善声音。

主要挑战是根据他们的头形状来理解每个人听到世界的独特方式。头和耳朵的形状不仅会改变你的听觉方式，而且对于你识别周围声音的来源也至关重要 。

研发团队创造了一种迷你游戏演示空间音频方面的技术。

参与者戴着跟踪的眼镜，他们站在房间里，整个房间里散布着几个真实的扬声器。然后，团队播放声音，并要求参与者选择声音是虚拟生成的还是通过耳机播放的，还是通过房间中的真实扬声器播放的。研究小组说，许多参与者的结果表明，虚拟声音与真实声音几乎没有区别。

他们这样做的一种方法是创建上下文感知的噪声消除。尽管如今的噪声消除技术旨在减少所有外部声音，但具有上下文相关性的噪声消除功能试图隔离你想听到的外部声音， 同时减少其余声音。

为此，Facebook研究人员使用几个麦克风，头部追踪和眼动追踪技术来制作原型耳塞和原型眼镜。眼镜可以监视用户周围以及他们所处位置的声音。一种算法旨在利用这些信息来找出用户想要听的主题：是坐在桌子对面的人，或是房间角落里的电视。该信息被送到算法的音频处理部分，该算法尝试筛选输入的声音，以便突出显示来自主体的特定声音，同时减少其他所有声音。

不管是苹果还是FaceBook，都在一步步围绕ARVR来迭代相关技术，未来的AR眼镜或是AR应用也会因为这些细节技术（空间音频等）变得更加沉浸、真实，带来更好的用户体验！