再也不用担心网吧开黑队友听不清了!降噪解决方案了解一下?

经常逛游戏论坛的朋友会深有感触,很多玩家经常会在论坛里吐槽在网吧开黑的体验很差,噪音太多。在游戏语音开黑的过程中,如果其中一个队友身处网吧,则其他人的耳机总是难免会被各种嘈杂的噪音所充斥,这是十分糟糕的体验,甚至会影响整个团队的发挥,那么在这样的场景下,降噪就成为了提升游戏体验的基本操作。

网吧场景下的降噪难度往往大于普通噪音环境下的降噪难度,其源于网吧的噪音环境和普通的噪声环境差别很大,网吧的噪音来源比较广泛,包括有众多人的聊天、呼喊声,大幅度的鼠标键盘敲击声,桌椅挪动人员走动等等,有些网吧还像理发店那样广播背景音乐及一些语音广播。并且网吧座位离得较近,几乎每个人左右都有很近的邻居,这些近距离的声音互相干扰更加恼人。

消除这些复杂的噪音却不是一件简单的事情,网吧环境下的噪声几乎都是非平稳的,所以传统噪声消除方法难以很好的应用在网吧场景下。腾讯云游戏多媒体引擎GME(Gaming Multimedia Engine,以下简称 GME)针对网吧场景提出了一套降噪技术解决方案,能在复杂的环境下将噪音对语音的影响降到最低。

如何在复杂的网吧环境下实现降噪?

在网吧嘈杂环境下的降噪诉求是:队友不讲话时,听不到任何其他声音,当队友讲话的时候,希望听到的是队友清晰的声音,当队友话毕其他声音随即静默。

以上要解决的问题可以抽象成嘈杂环境里单一主讲人的通话处理。针对可容忍的体验诉求,需要一个排除主讲人以外声音的语音活性检测算法(VAD)。而这个VAD算法和常规意义的语音检测有所不同,因为它不但要排除掉非语音,还要排除掉主讲人以外的语音,否则队友附近的人的话音甚至环境较远处的嘈杂语音仍会被发送给耳机这头的你。

针对这样的情况,GME朝着满足诉求的方向,给出了这个“VAD”算法,流程如下:

在判断声音性质时,一个要进行的过程是,计算语音的相关性,相关性测度定义如下:

E(\tau )=\sum\limits_{n=0}^{N-1}{{{\left[ s(n)-\beta s(n-\tau ) \right]}^{2}}}\

其中 \beta \ 为增益因子,N\ 为分析帧长。令\frac{\partial E(\tau )}{\partial \beta }=0\,求得:

\beta =\frac{\sum\limits_{n=0}^{N-1}{s(n)-\beta s(n-\tau )}}{\sum\limits_{n=0}^{N-1}{{{s}^{2}}(n-\tau )}}\

从而,有

E(\tau )=\sum\limits_{n=0}^{N-1}{{{s}^{2}}(n)}-\frac{{{\left[ \sum\limits_{n=0}^{N-1}{s(n)s(n-\tau )} \right]}^{2}}}{\sum\limits_{n=0}^{N-1}{{{s}^{2}}(n-\tau )}}\

相对误差能量为

R\left[ E(\tau ) \right]=\frac{E(\tau )}{\sum\limits_{n=0}^{N-1}{{{s}^{2}}(n)}}=1-{{\rho }^{2}}(\tau )

其中

\rho (\tau )=\frac{\sum\limits_{n=0}^{N-1}{s(n)s(n-\tau )}}{\sqrt{\sum\limits_{n=0}^{N-1}{{{s}^{2}}(n)}\sum\limits_{n=0}^{N-1}{{{s}^{2}}(n-\tau )}}}\

为了得到这个结果,还需要做一些预处理:

1,去均值:分析窗口内非零均值或非常低的低频噪声出现时,\rho (\tau )\ 会在所有\tau \上都很大,这对依赖\rho (\tau )\进行清浊分类时的安静段语音尤其麻烦。解决办法是去掉均值:

{{s}^{'}}(n)=s(n)-\frac{1}{N}\sum\limits_{n=0}^{N-1}{s(n)}

2,低通滤波:为减小高频共振峰和高频噪声的影响,要进行一个800赫兹的低通滤波,去掉大部分共振峰影响,并可以再基音频率最高500赫兹时仍能保留其一次,二次谐波,其技术指标要求为:

\frac{1}{T}=8000\text{Hz}\ , \frac{{{\omega }_{c}}}{2\pi }=800\text{Hz},\frac{{{\omega }_{r}}}{2\pi }=1200\text{Hz},1-{{\delta }_{1}}=-0.25\text{dB},{{\delta }_{2}}=-50\text{dB}

据此,由双线性变换法设计一个五阶的滤波器,幅频响应如图:

3,数值滤波:

上述低通滤波可以较为有效的去掉第三个第四个共振峰的影响,但前两个共振峰的影响仍然存在,浊音语音周期性会模糊,为了去掉这一影响,进行数值滤波。数值滤波能正确显现信号的趋势,如上升沿:

y(n)=\frac{1}{2K+1}\sum\limits_{i=-K}^{K}{x(n+i)}

但这个是个非因果的数字系统,为了因果性改写如下:

y(n)=\frac{1}{N}\sum\limits_{i=0}^{N}{x(n-i)}

注意,这个过程引入了算法延时。在一些参数编码原理的语音编码器中,会用LPC过程的残差来估计基音周期,就是因为残差经过“白化”排出了共振峰影响。因为lpc分析主要产出并非为计算基音,而其又涉及加重叠窗又需要求解尤利沃克方程或burg迭代所以本文并未使用。

我们最终关心的是,周期性水平的度量,我们定义如下

{{Z}_{\text{period}}}=\frac{{{\rho }_{\max 1}}+{{\rho }_{\max 2}}+{{\rho }_{\max 3}}}{3}+{{\rho }_{\max }}

当这个周期性水平满足条件后,还要看周期是否满足语音信号基音周期范围:语音信号的基音频率范围是60Hz到500Hz;对于8k采样,用采样周期表示的区间为[80,147],[40,79],[20,39],同时满足周期性和周期范围,我们认为该声音性质具备语音特性。

其他环节,诸如底噪包络跟踪,主讲声强跟踪这里不再详述。

在此方案下,我们将大部分嘈杂的声音从时间段上全部排除掉了,如图:

上侧:原始声音,下方:排除掉嘈杂后的声音

通过效果图可以明显看到,噪声被大大的抑制了,但没有影响玩家正常的语音对话,网吧嘈杂环境的诉求得到了满足。

通过自研技术,GME已经能在复杂的网吧环境下也准确的检测到特定的人声并有效的去掉环境音或其他玩家带来的噪声,给玩家带来了极致的开黑体验,让好友之间的语音互动不再有噪点,目前游戏多媒体引擎GME 已正式登陆腾讯云,为广大游戏厂商开发者提供服务,详细信息可浏览:https://cloud.tencent.com/product/gme

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏用户3246163的专栏

[脑书笔记]《整体性学习》3-拓展观点技术和记忆随意信息技术

这篇脑书继续讲整体性学习的第二部分整体性学习的技术,在《整体性学习》1里面在谈到信息进入大脑的顺序是,获取,理解,拓展,纠错和应用。这篇脑书笔记主要针对这5个步...

851
来自专栏用户3246163的专栏

[脑书笔记]《整体性学习》1-整体性学习策略

从上面的英文解释可以看出Learn主要指的是获取知识或者技能的结果,而Study主要指阅读,记忆,去学校来达到获取知识的各种形式。所以从书名就可以猜测的作者的本...

1341
来自专栏大数据文摘

关于深度学习,Yann LeCun给大学生的十四条建议

1253
来自专栏数据派THU

英雄联盟如何指挥团战?AI帮你做决策(附资源)

[ 导读 ]英雄联盟是一个需要默契团队配合的多人对战游戏。在瞬息万变的战斗中,如何做出正确的决策非常重要。最近,数据分析师 Philip Osborne 提出了...

1395
来自专栏新智元

【前沿】CMU研发算法透明化系统,点亮机器学习黑箱

【新智元导读】现在的机器学习系统并不是完全安全可靠的,这不仅是因为我们无从得知黑盒子里发生的事情,还因为用人类生成的数据训练机器,难免会把人类的偏见和固有缺陷也...

2444
来自专栏数据科学与人工智能

【应用】信用评分卡:高级分析

当一位年轻的商业分析师向我们讲述他最近回家的事件时,充满分析师的房间爆发出一阵响亮的笑声。 一位遥远的阿姨询问了他的新职业。 他的回答 - 我正在进行建模。 她...

1232
来自专栏AI研习社

读了这些书,才能正确入门深度学习

编者按:本文作者为 Jeffries Consulting 创始人 Daniel Jeffries,他以自己的阅读体验,对当前含金量极高的几本深度学习书籍进行点...

2996
来自专栏新智元

神经科学新突破!新算法助力超算进行人类大脑模拟

---- 新智元编译 作者:谢永芬 【新智元导读】由德国于利希神经科学和医学研究所联合国际研究机构提出的新算法,解决了限制在E级超级计算机上模拟大脑神...

2838
来自专栏新智元

10月AI热文:强化学习、定制合成人脸、道德机器等

谷歌正试图通过新的Active Question Answering(Active QA)智能体来模仿这一点,这是一个使用强化学习来训练AI进行问答的系统。当你...

1262
来自专栏无原型不设计

扁平化设计是否已经失宠?10个案例告诉你答案

近年来的设计风格一直在变化,设计师们在这方面的喜好和倾向性以及网页设计趋势方面的话题一直争论不休。例如,Flat design vs. Material de...

2686

扫码关注云+社区

领取腾讯云代金券