《除了吃鸡游戏,3D位置语音还可以用在哪里?》

| 导语 在刚刚结束的首届腾讯用户开放日上,腾讯音视频实验室带着3D位置音效解决方案,向所有用户亮相,为用户提供360度立体空间的沉浸式听觉体验,那么这项技术如何结合具体的场景提升用户听感和体验呢?这篇文章将会详细阐述

基于游戏开发引擎(例如Unreal、Unity)实现的3D音效在游戏中的应用已经非常普遍了,通过游戏引擎模拟重现空间中声源方位,例如CS中射击的枪声、中弹时的音效、附近敌人轻微的脚步声,可以显著提高游戏的沉浸感,造就身临其境的游戏体验。

这里我们可以听一段音视频实验室通过3D音效算法处理后的音频(请带上耳机收听):

可以听到,处理后的音频携带了更多的空间感和方位感信息,通过扩展音乐的延展度,让声场更大、声音位置感更准确、声音运动轨迹更加生动,提升音乐的临场感和沉浸感。

然而,3D音效之前并没有大规模应用在实时语音沟通领域,这主要是由于之前重度游戏中玩法对于语音能力的定位更多是沟通方式而非创新玩法,使用场景对于实时语音携带方位感诉求也不强烈。


2017年一款游戏《绝地求生:大逃杀》,通过创新的百人大逃杀、胜者吃鸡玩法,短时间获得了全球玩家的青睐和追捧。除了游戏玩法本身的创意之外,游戏对于实时语音玩法也进行了颠覆式创新。游戏过程中玩家可以设置【全体模式】向附近的玩家喊话、挑衅、搭讪,这种语音模式可以与陌生人进行很有趣的沟通和互动。社交媒体上已经有很多用户基于这种语音模式,创作了很多趣味视频,例如:

【绝地求生:心机老师一把镰刀进前五,全凭一张嘴,高清版】

视频内容

【中国人吃鸡时遇到喋喋不休的日本人是一种什么体验?emmmm……隔着屏幕感受到了中国小哥内心的无奈】

附上链接:

视频内容

而引入3D位置语音之后,玩家在喊话过程中会暴露自己的方位和位置信息,玩家的声音也会根据位置变化而实时改变。可以说,3D音效让《大逃杀》这种玩家间的沟通和战斗体验更真实,感受更加沉浸式、更加身临其境的吃鸡玩法。

3D音效除了应用在吃鸡游戏中之外,结合线上棋牌房等多人语音场景也可以显著提升用户体验。

现在多人会话中几路声音混为单声道后,声源将集中于一点。应用3D位置音效,收听者可以将不同发送方虚拟到空间不同的位置上,用户更容易通过位置信息知道当前是谁在讲话。这种技术非常适合应用到固定方位的聊天室中。

例如,3D音效应用到棋牌类游戏的语音房间时,通过将各个声音虚拟到桌面相应位置,玩家可以清楚地感知到其他玩家的声音是来自自己左、右还是正前方,打造线上棋牌房的沉浸式体验,也让玩家开语音沟通的意愿更加强烈。

以下是我们模拟玩家方位处理的一段棋牌游戏中实时语音效果:

3D音效的另一个重要应用场景是VR音频。

VR的一切都是关于临场感,而逼真的3D音效效果可以成为临场感的点睛之笔。VR设备能够通过头部运动追踪物体固然重要,能够听到携带物体位置信息的声音也同样重要,逼真的3D音效效果能够给玩家传递其他玩家的位置信息、环境信息,通过视觉和听觉的相互加强来达到最好的效果。

从方位上,VR中各个声音可以虚拟到空间的某个位置上,使用户感受声音来自特定位置;用户转头时,VR中刚才所虚拟方位的声音将随之变化相应的方位,制造出360度立体空间声音定位的效果,让玩家更加确信声源就在现实中。这对于VR类游戏体验非常关键。目前音视频实验室的3D音效相关技术提案已提交到AVS(国家音视频编解码技术标准)的VR音频国家标准中,且在腾讯今年发布的一款VR 游戏“hello world”中已上线。

3D音效还可用于高清视频的音频处理,用户只需使用双声道耳机,即可在家体验影院的沉浸式立体声视听体验。

我们知道,在电影院观影过程中为了打造立体声效果常用5.1声道,7.1声道,每个声道的声音通过不同位置的音箱播放出来,配合影片,观众体验更加震撼。而当戴耳机来观看电影时,由于常规的方法是简单的将靠左侧的所有声道混在左声道,靠右侧的声道混在右声道,中置声道左右都混,这导致无论5.1还是7.1所有声像最终都变成左中右,模糊掉许多细节导致一些声音的变化体现不真实,例如从左后方运动到左方再到左前。更严重的是,假如其他声道无声,只有左前声道有声音,就变成了只有左耳机响,这种感受很不好。

而3D音效可将各声道虚拟到各个相应音箱的位置,从而使听觉更像来自空间中的各个音箱。运用3D音效技术,用户在家用双声道耳机即可体验沉浸式的影院立体声效果。

以下是我们在腾讯视频上截取的音乐原声并通过3D音效处理后的效果:


那么,三维虚拟听觉是如何实现的呢?要将普通单声道声音处理为沉浸感的音频需要先了解下面的问题:人耳如何分辨声音来自何方? 我们先看下面的图:

通过图中我们可以看到,左右耳听到的声音先后、左右耳听到的声音的大小、左右耳听到声音实际频谱都是有差异的。

我们的3D音效技术,就是利用“头部关联传输函数”(HRTF 算法),对双耳之间的时间差异和频谱差异进行建模,形成有声源方位感的声音。同时我们还通过采样混响填补HRIR缺失的环境反射声,从而构建完整的声场模型。比如在一个小房间里,不仅可以听到两个人之间的对话,还可以听到声音从墙壁中反射的效果,增加沉浸感。在下一篇关于3D音效技术揭秘的文章中,我们会披露关于此项技术更多的原理介绍,敬请期待!

ps:受限于微信公众号一篇文章只能加载一个音频和三个视频的规定,音频只能使用视频代替,视频提供短链入口。文章整体美观性受到一定影响(虽然平时发文也没有什么美观性可言),但请大家且看且吐槽!


如果您觉得我们的内容还不错,就请转发到朋友圈,和小伙伴一起分享吧~

原文发布于微信公众号 - 腾讯Bugly(weixinBugly)

原文发表时间:2017-12-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序员互动联盟

写给女程序员的一封信

本文写给广大正在做软件开发的、曾经做过软件开发的以及即将做软件开发的女同胞们。同时也希望男同胞们能够给女同胞多一些理解和包容,多一些关心和帮助,让女同胞能在软件...

32740
来自专栏镁客网

NeoSensory研发触觉反馈电子背心exoskin,可与虚拟化身一同跳舞 | 热点

16490
来自专栏互联网杂技

看人识人 - 设计师辅技手册

导言: 设计已经成为一门综合性学科。设计师不仅需要熟练主技能,还需要领悟其他技能,才能更好地辅助自己地工作。《设计师辅助技能手册》系列文章,目的就是探讨一些有趣...

30940
来自专栏ThoughtWorks

我选择,我喜欢|TW洞见

罗晓琳 ThoughtWorks “你有男朋友吗?” “你男朋友同意你做这个吗?” “连续加班一个月你受得了吗?” 2014年10月份初,我离开大连,踏入北京,...

27740
来自专栏Java后端技术栈

在腾讯的八年,我的职业思考!

我从来没有想过自己会在同一家公司工作8年。因为4年足以读完大学,6年能让小孩读完小学,8年漫长得不可思议。

9420
来自专栏微信公众号:Java团长

程序员如何在百忙中更有效地利用时间,如何不走岔路,不白忙!

程序员忙,似乎是个公论,有些程序员甚至会认为,不忙的程序员无法快速地进步,从而会落伍。或者说,不忙的程序员有可能被公司末尾淘汰掉。对此,一直危机感很重的我深以为...

8920
来自专栏镁客网

或许你没听过4.9G技术,诺基亚却认为它是5G商用的基础

17440
来自专栏机器人网

人类对机器人有了感情怎么办?

近来,美国一家公司生产的超仿真机器人Sophia在电视节目上与人类对答如流,成为“网红”机器人。对话中,Sophia流露出的喜悦、惊奇、厌恶等表情真实得令人赞叹...

35340
来自专栏PPV课数据科学社区

【案例】如何用大数据优化技术提高Linkedin内容运营效果数十倍?实战干货分享

作者简介 宋碧莲博⼠是商业优化专家。 擅长机器学习客户行为,海量数据价值挖掘,对商业目标精准预测和决策优化。曾经是Linkedin,eBay的大数据核⼼成员。...

40480
来自专栏互联网数据官iCDO

营销格局大洗牌?订阅号改版背后似乎隐藏着什么……

前 言 去年今日此门中,人面桃花相映红。 人面不知何处去,桃花依旧笑春风。 移动互联网变化太快,去年的王者,今年可能不一定再荣耀。今天让我们一起来探索微信订阅号...

379110

扫码关注云+社区

领取腾讯云代金券