在一对一直播软件开发过程中,需要用到哪些前处理技术(一)

在直播中做好对音视频的前处理,是保证用户基本体验的第一步,因为它牵扯到很多关于美颜和声音的优化问题,用户的感官体验是否达标,跟这个环节有很大联系。那么在一对一直播软件开发过程中,一般需要用到哪些前处理技术呢?

关于直播的前处理总共分为两个大项,一是音频前处理,一是视频前处理。而今天,小编就来重点来讲一讲,音频前处理中包含的项目。

音频前处理,含有噪声抑制、回波抵消和增益控制三大块。

一、噪声抑制

有时我们在观看直播时,会听到一些电流音,爆音,滋滋声或者嘟嘟声。其实这种情况主要来源于参数配置、网络波动,甚至是代码层面的原因。以参数配置为例,一旦配置不太匹配,就会导致声音听起来非常诡异,比如:采样率是 32000Hz的音频,如果给播放器配置为8000Hz或者44100Hz,就明显会出现音频慢放或者快放的效果。所以需要注意的是,在采集环节,要给系统的API以及第三方的库配置正确的参数,如:采样率、位宽、声道数等等。

二、回波抵消

回声一般出现在同时有音频的采集和播放的场景,比如:连麦互动、混音返听等等,采集到的音频通过扬声器又播放出来了,同时又被采集了进去,从而产生了回声或者啸叫声。如果要抵消这些影响,就需要通过系统的回声消除API,或者采用第三方回声消除库(如:speexdsp,webrtc等)进行处理。

三、增益控制

当有对语音的响度进行调整时,就需要做针对于语音的自动增益算法处理。处理的方式也比较单一,就是对音频采样加上一个增益因子。但需要注意的一点是,由于人的听觉对所有频率的感知不是线性的,是遵循等响度曲线的,导致这样处理后,听起来感觉有的频率加强了,有的频率削弱了,反而导致语音失真放大。

所以,要让整个频段的频率听起来响度增益都是“相同”的,就必须在响度这个尺度下做增益,而不是在频率域,即按照等响度曲线对语音的频率进行加权,不能采用一个固定的增益因子进行加权。

以上,就是在一对一直播软件开发过程中,需要用到的音频前处理技术,关于视频前处理技术,之后会继续更新,欢迎继续关注。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券