前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >在一对一直播软件开发过程中,需要用到哪些前处理技术(一)

在一对一直播软件开发过程中,需要用到哪些前处理技术(一)

原创
作者头像
就爱吃小笼包
修改2019-10-10 17:52:14
7160
修改2019-10-10 17:52:14
举报

在直播中做好对音视频的前处理,是保证用户基本体验的第一步,因为它牵扯到很多关于美颜和声音的优化问题,用户的感官体验是否达标,跟这个环节有很大联系。那么在一对一直播软件开发过程中,一般需要用到哪些前处理技术呢?

关于直播的前处理总共分为两个大项,一是音频前处理,一是视频前处理。而今天,小编就来重点来讲一讲,音频前处理中包含的项目。

音频前处理,含有噪声抑制、回波抵消和增益控制三大块。

一、噪声抑制

有时我们在观看直播时,会听到一些电流音,爆音,滋滋声或者嘟嘟声。其实这种情况主要来源于参数配置、网络波动,甚至是代码层面的原因。以参数配置为例,一旦配置不太匹配,就会导致声音听起来非常诡异,比如:采样率是 32000Hz的音频,如果给播放器配置为8000Hz或者44100Hz,就明显会出现音频慢放或者快放的效果。所以需要注意的是,在采集环节,要给系统的API以及第三方的库配置正确的参数,如:采样率、位宽、声道数等等。

二、回波抵消

回声一般出现在同时有音频的采集和播放的场景,比如:连麦互动、混音返听等等,采集到的音频通过扬声器又播放出来了,同时又被采集了进去,从而产生了回声或者啸叫声。如果要抵消这些影响,就需要通过系统的回声消除API,或者采用第三方回声消除库(如:speexdsp,webrtc等)进行处理。

三、增益控制

当有对语音的响度进行调整时,就需要做针对于语音的自动增益算法处理。处理的方式也比较单一,就是对音频采样加上一个增益因子。但需要注意的一点是,由于人的听觉对所有频率的感知不是线性的,是遵循等响度曲线的,导致这样处理后,听起来感觉有的频率加强了,有的频率削弱了,反而导致语音失真放大。

所以,要让整个频段的频率听起来响度增益都是“相同”的,就必须在响度这个尺度下做增益,而不是在频率域,即按照等响度曲线对语音的频率进行加权,不能采用一个固定的增益因子进行加权。

以上,就是在一对一直播软件开发过程中,需要用到的音频前处理技术,关于视频前处理技术,之后会继续更新,欢迎继续关注。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云直播
云直播(Cloud Streaming Services,CSS)为您提供极速、稳定、专业的云端直播处理服务,根据业务的不同直播场景需求,云直播提供了标准直播、快直播、云导播台三种服务,分别针对大规模实时观看、超低延时直播、便捷云端导播的场景,配合腾讯云视立方·直播 SDK,为您提供一站式的音视频直播解决方案。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档