专栏首页腾讯音视频实验室腾讯会议如何保证语音质量?音频信号处理中有这些秘籍!

腾讯会议如何保证语音质量?音频信号处理中有这些秘籍!

导读 | 腾讯会议在去年年底推出,集结腾讯在AI、云计算、安全等方面的能力,全方位满足不同场景下的会议需求,在短短两个月内就突破千万日活大关。面对多样且复杂的场景,比如开会环境嘈杂、同一地点多设备接入、房间声学参数不理想等,腾讯会议如何通过对音频信号的处理持续保障高品质通话,提升沟通效率?本文是腾讯多媒体实验室音频技术专家李岳鹏在「腾讯技术开放日·云视频会议专场」的分享整理。

点击视频,查看直播回放

一、TRAE技术降噪增益揭秘

先简单讲一下VOIP中语音数据实时传输路径图,我们可以看到远端的数据通过网络传过来,我们进行解码、混音、播放给本地听。同时,本地也会讲话,那么我们进行采集,之后做一些常见的前处理,比如语音降噪回声消除,再通过网络传给B端。两端通话就是这样实现的,多端通话其实原理也一样。 

二、前处理的核心算法

1. 回声消除(AEC)三步走:信号对齐、自适应滤波器、残留回声控制

     回声是如何发生的?比如说两个人站在两个房间里通话,房间1的人讲话,他的声音被他自己的麦克风采集,通过网络传给了房间2,房间2的人通过扬声器播出来,听到了。但是,房间2 的人也用麦克风,麦克风又采集了播放的房间1声音,又传给房间1的人来听,房间1的人就这样听到了自己的回声。 

    消除回声的办法应该很多人都听过,就是传统声学的回声消除。这里涉及到一些名词,远端是指对端的人,近端是指自己这边;单讲指一个人讲话,双讲就是两个人同时在讲话。如果我跟远端的人同时讲话我们都能彼此听到对方,这个叫全双工。如果有的AEC做得不好的话,那可能就双讲变成单工,只有一个人能听到,这端讲话可能对端就听不到。传统声学的回声消除分三步:

(1)信号对齐。播放信号跟采集信号对齐,因为它们两个可能延时很大,我们都知道滤波器的阶数是有限,所以要先对齐,再滤波。信号对齐的方法一般是先用时间戳做一个粗对齐,然后再根据能量谱查找对齐,比如寻找相似性,这个其实像在开源的WebRTC里面也有。

    但是,WebRTC的查找对齐其实不是特别准,而且有时候会有波动。我们在TRAE中又做了一些更深入的研究,会用更精细的谱去做一些类似于指纹的对齐,这种方式更稳定

(2)自适应滤波器。信号对齐之后再滤波,我们使用自适应滤波器来达到更好的效果,它的优点是收敛快、稳得住、能力强。收敛快是说,声学路径改变了之后,是花500毫秒还是1秒甚至3秒去收敛。

     稳得住,是说以前大家根据课本来讲收敛发散,会说自适应滤波器要去做一个双讲判断,否则更新滤波器时就会分散,但是现在已经不会这样了,因为现在很多都是通过改变波长来控制自适应滤波器的更新因子,并不存在双讲会导致发散的问题。

     能力强,字面意义上就是能消除更多的回声,但是实际用的时候,其实它是跟硬件的线性程度相关的,播放采集的线性程度。有的同学可能做完了算法之后,会困惑原来能消超过20 dB甚至30 dB的回声,为什么换一个场景我只能消10 dB了。发生这种情况,其实不是因为算法的问题,而是因为整个声学系统的非线性程度加强了,导致信号相关性减弱了,所以你的自适应滤波器获得的收益就减少了。

    除了通过输出的能量、控制进行改善,我们还有一个反传统的办法。一般来讲,自适应滤波器是要把信号减弱,不应该把信号变强,但是实际上我们在应用过程中发现,有的设备非线性非常强,传统办法得到的效果很弱,会影响到后端的NLP处理。所以我们的方法是,做一些滤波器的过估计,回声能量反而变强,之后再配合NLP,把非线性的一些回声去掉。

(3)残留回声抑制。对于语音识别前端,常见的都是需要做一些降噪能力稍微弱的非线性处理,不需要把回声处理的很干净。但是对于我们VOIP通话来讲要求就高很多,因为我们并不希望听到对端的回声。所以,我们会尽力把回声抑制得更多,在自适应滤波器后面要有一个给力的NLP处理方案。其实我们在做的,就是尽量保证把回声消的更加的彻底,同时要保证双讲的时候能听到对端的声音,就是所谓的双讲通透性。

    另外一个刚才也讲到了其实回声跟设备相关,有的设备非线性程度很差,原来播放信号里面没有的成分,可能经过喇叭播放之后采集就出现了一些莫名其妙、无中生有的成分。在一些特殊情况下我们就需要把这些非线性声音消除掉,要不然也会听到回声。

    其实我们会议可能要覆盖很多场景,比如各种各样的终端、PC、麦克风包括苹果、安卓,尤其安卓手机真的非常多,有的很差、有的很好,所以我们需要有一些NLP参数去做一些配置当然我们尽量不做大量的机型的去适配,我们希望有一个比较统一的方案去解决。另外我们可能会在一些场景下支持高音质,包括手机上会选用一些有用的麦克风。

    2. 语音降噪(ANS)- 能量最小值跟踪法

    噪声跟语音信号不同,降噪过程中其实是通过在频域做一些处理。对于一些平稳的噪声,比如常见的空调声、电脑风扇声、车内的一些风噪声,它的时间变化比较慢,但是语音是一个多变的信号,正是通过它们两个的不同,我们来判断哪些信号是语音,哪些是降噪,然后把它给去掉。

   在所有常见的噪声估计方法中,我倾向使用现在最简单的一种,能量最小值跟踪。它其实就相当于追踪一个本底,我们能大概知道噪声是什么量级,然后把它从语音信号中减掉就可以了。这个方法的优点是能最大程度保护语音,改变一个参数就能灵活控制追踪速度,而且估计的噪音不会忽大忽小。但是,这样有时候会偏小,需要加入偏差补偿系数。

    在通常处理过程中,我们都是把信号变化到FFT域,之后直接处理。我们也尝试把它变化到其他的域来处理,比如变化到BARK域,发现这样更符合人耳听觉来进行消除。变化BARK域的一种好处就是听到最后音乐的噪声残留会比较小。FFT域做,如果控制得不好,平稳降噪之后会出现很多的music noise,就是唧唧喳喳这种声音。

    3. 控制硬件采集设备,实现自动增益控制(AGC)

    自动增益控制,其实就是把处理完的信号放大。常见的AGC是模拟的,大家都知道电脑里面可以调节,目前很多产品不会控制设备上boost(麦克风加强)

我们做了调节控制这方面的工作,以保证最终这两个合在一起工作的,采集信号在合理的范围内而且不会爆音。

     另外,AGC还包括数字增益部分,前面的回声消除这些的控制处理完了之后,就变成数字信号去把它放大。常见的注意事项大家都知道,比如小声音不能放大,大声音不能放爆音,底噪不能被放大过多。其实可能里面还牵扯到一些具体的技术,比如说噪声估计到底有多少,加入一些语音检测,另外还排除一些回声的影响,把这个信号从左边这么小的放大成这么大,左边这个很大,然后再进一步放大,不会产生更多的爆音。

三、真实场景中的痛点和难点

    下面跟大家分享我们开发腾讯会议过程中遇到的一些特殊的场景。

  • 同一地点多个设备同时入会

    常见的比如说在一个房间内用一个电脑、一个手机同时入会,就会产生一种啸叫,产生回环,我们可以做啸叫抑制算法,尽量让它不再产生啸叫。也有可能没有满足啸叫的条件,不会产生啸叫,但是会产生回声,对端传过来的声音,A播放,B采集了,同时B播放,A也采集了一遍,同时又把它发给对端,对端好像听到两个声音,这时我们就会做一些比如“同地多设备检测”,去提醒用户有多个设备检测,是不是应该关麦,这就是一些产品的策略,但是算法主要是同地设备检测的算法。

    同地检测设备其实我们在一些大中小的会议室内都做了一些实验,检测率还是很准的,误检率比较低。

  • 开会比较嘈杂的情景

    比如大家都在工位上讲话,离得都比较近,周围人讲话的嘈杂声音,其实不需要被采集传输,这样会让对端的人听着很难受,那么我们就会开发一种强力的Vad,提供一个主讲人模式,过滤周围人的声音,只保留这个主讲人的声音。

  • 第三方会议设备,嵌入的语音处理效果差

    一些会议产品并不支持PSTN入会,而我们的会议产品不光是VOIP,还支持传统的固定电话或者手机电话入会。一些公司的一些会议室里面PSTN固话可能会存在前处理的比如降噪能力有限,会把采集到的噪声传给对端,这时候我们就可以在服务器的链路上,他声音上行完了之后,我们在服务器上去把这个声音再做一些处理。

  • 房间声学参数不理想

    有的房间声音设计不好,混响很重,传过去的声音就不好听,一开始听还好,时间长了之后就会容易产生一种疲劳,我们现在比如用传统的方法,还有机器学习的方法做一些融合,去实现比较好的效果。

四、Q&A

    Q:为什么在智能音箱上不需要再做一些信号对齐?

    A:智能音箱,还有一些手机上,他们其实播放和采集都是从最底层,最接近硬件的地方拿取信号,这样两路信号本身就对得很齐,但是对于VOIP来讲,我们要从上层去拿信号,所以就会存在信号对齐的过程。

    Q:能否深入介绍指纹对齐机制?

    A:其实指纹机制借鉴了音乐检索里面计算一些谱的方式,可以简单理解为它是把谱计算得更细。另外,它选取更长的时间段,比如相比之前查找对齐,它可以做到一个更清晰的对齐。当然,在应用的时候有人可能会觉得,这样用的信号时间太长了,对齐时间会变慢,其实我们在策略上可以做一些改进,比如你可以先用指纹对齐,或者你可以先来一个简单的快速对齐,最后再来一个长的稳定对齐,这些策略都是可以调整的。

    Q:能否深入介绍一下风噪以及语音虽然存在差异,但是如何能准确估计出噪声?

    A:其实有的噪声的确是跟轻音很像,这种情况下会把轻音误消。那么我们可以在检测到一些风噪或者键盘噪声很多的时候,就做一个比较强的抑制,我个人觉得在这种情况下,把噪声抑制得干净一些,相比来损失点轻音更容易接受。如果在噪声比较少的时候,可能我的策略会稍微保守一点,尽量保留让这个音质非常好,使它有一个平衡的切换。对于传统的降噪来讲,因为一定会存在一些噪声的误判,可能会造成声音的丢失,这个是很难避免的。

    Q:当APP接入自带算法的第三方终端的时候,腾讯会议的音频是否能检测到这种情况,是一如既往的进行处理,还是如何避免过多的处理导致语音的失真?

    A:这个问题很好。的确一些硬件设备它是自带3A的,我们通常称之为硬件3A,它自己有一些处理。我们实际使用的时候一般会先看,看一些常见的设备到底怎么样,比如说在MAC上,硬件3A处理一些情况下处理的不够好,这时我们就关闭硬件3A,只用自己的自研软件3A。

     在手机端因为还牵扯到一些应用的场景,我们不可能把硬件3A直接关掉,此时可以开或者不开EC,但大概率会去开机器学习降噪,去帮助降低更多的环境噪声,这些都是可能的。

五、讲师简介

李岳鹏

腾讯多媒体实验室音频技术专家

    李岳鹏,腾讯多媒体实验室音频技术专家。2015年7月加入腾讯,作为语音通信引擎的核心研发人员,先后服务于QQ语音、GME游戏语音SDK、腾讯会议等产品。从事音频信号处理工作超15年,研究方向涉及回声消除、语音增强、麦克风阵列信号处理、3D语音等。

本文分享自微信公众号 - 腾讯音视频实验室(TencentAVLab),作者:李岳鹏

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-03-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 云视频会议背后的语音核心技术揭秘:如何进行语音质量评估?

    导读 | 自疫情发生以来,腾讯会议每天都在进行资源扩容,日均扩容主机接近1.5万台,用户活跃度攀升。在如此高并发流量的冲击下,腾讯会议如何保证语音通信清晰流畅...

    腾讯音视频实验室
  • 腾讯多媒体实验室:信号处理×深度学习,语音通信新技术的研发实践

    随着5G时代的正式到来,又一次产业革命大潮正在悄然而至,人工智能、物联网loT、云计算、5G等前沿技术出现在大众视野。11月6日-7日,Techo开发者大会在...

    腾讯音视频实验室
  • 腾讯多媒体实验室发布新一代实时音频通信技术品牌——“腾讯天籁”

        2020年疫情的突如其来,让数字通信手段成为了人与人沟通的重要手段。从各地政府的抗疫行动部署,到基础行业的维持运行,再到企业复工后的生产安排,都离不开...

    腾讯音视频实验室
  • Google发布云端文字转语音SDK:支持12种语言,32种声音识别

    Google的文字转语音(Text-To-Speech)功能原本使用在Google助理或是GoogleMap等服务上,现在Google推出云端文字转语音服务,开...

    BestSDK
  • 快试试这个:一张自拍生成3D人脸!(Demo+Code+Paper)

    问耕 编译整理 量子位 出品 | 公众号 QbitAI 讲真,你得试试这个,很好玩。 来自诺丁汉大学和金斯顿大学的一队AI专家,最近发了一个新的研究成果:使用机...

    量子位
  • 动态 | 验证码要凉凉?中国西北大学和北京大学的研究或将终结 CAPTCHA 验证码时代

    在互联网上与人沟通时,你如何证明自己不是机器?这是一个很难的问题,多年以来的解决方案就是你能够成功读取一系列机器无法识别的扭曲字符。这种安全工具称为 CAPTC...

    AI科技评论
  • Linux分区规划与xshell使用排错

    1.1 没有重要数据 /boot   200M    存放系统的引导信息 内核 swap   交换分区 防止内存用光了 临时的一个内存 如果...

    惨绿少年
  • 【GPLT】L1-007 念数字

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

    喜欢ctrl的cxk
  • 学习 PixiJS — 视觉效果

    平铺精灵是一种特殊的精灵,可以在一定的范围内重复一个纹理。你可以使用它们创建无限滚动的背景效果。要创建平铺精灵,需要使用带有三个参数的 TilingSprite...

    FEWY
  • elastic-job-lite入门以及架构原理分析

    简单作业类型:我们实现SimpleJob接口中的execute方法,在里面处理自己的业务需求,调度器通过配置的cron表达式进行调度。

    阿伟

扫码关注云+社区

领取腾讯云代金券