Android平台RTSP轻量级服务|RTMP推送摄像头或屏幕之音频接口设计

原创

音视频牛哥

修改于 2021-04-20 17:52:42

6950

修改于 2021-04-20 17:52:42

好多开发者在做Android平台录像或者RTSP轻量级服务、RTMP推送相关模块时，对需要设计哪些常用接口会心存疑惑，本文主要以大牛直播SDK（官方）为例，简单介绍下Android平台直播推送SDK所有音频相关的接口，感兴趣的开发者可以参考。

1. 设置audio编码类型，默认AAC，如需更低的码率，可设置SPEEX编码，一把考虑到录像等操作的通用性，建议选择AAC编码。

    /**
     * Set audio encoder type(设置音频编码类型)
     * 
     * @param type: if with 1:AAC, if with 2: SPEEX
     * 
     * @return {0} if successful
     */
    public native int SmartPublisherSetAudioCodecType(long handle, int type);

2. 设置AAC音频编码码率，不再赘述。

	/**
	 * Set audio encoder bit-rate(设置音频编码码率), 当前只对AAC编码有效
	 *
	 * @param kbit_rate: 码率(单位是kbps), 如果是0的话将使用默认码率, 必须大于等于0
	 *
	 * @return {0} if successful
	 */
	public native int SmartPublisherSetAudioBitRate(long handle, int kbit_rate);

3. 设置SPEEX音频编码质量，一般设置到8即可。

    /**
     * Set speex encoder quality(设置speex编码质量)
     * 
     * @param quality: range with (0, 10), default value is 8
     * 
     * @return {0} if successful
     */
    public native int SmartPublisherSetSpeexEncoderQuality(long handle, int quality);

4. 设置噪音抑制，噪音抑制可用于对采集到的audio数据如杂音背景音的消除

    /**
     * Set Audio Noise Suppression(设置音频噪音抑制)
     * 
     * @param isNS: if with 1:suppress, if with 0: does not suppress
     * 
     * @return {0} if successful
     */
    public native int SmartPublisherSetNoiseSuppression(long handle, int isNS);

5. 设置音频自动增益控制，AGC的目的是，系统可根据声音大小自动适当调整音量，使声音大小尽量保持一致

    /**
     * Set Audio AGC(设置音频自动增益控制)
     * 
     * @param isAGC: if with 1:AGC, if with 0: does not AGC
     * 
     * @return {0} if successful
     */
    public native int SmartPublisherSetAGC(long handle, int isAGC);

6. 设置回音消除，用于一对一互动场景下，消除音频回音

	/**
	 * Set Audio Echo Cancellation(设置音频回音消除)
	 *
	 * @param isCancel: if with 1:Echo Cancellation, if with 0: does not cancel
	 *
	 * @param delay: echo delay(ms), if with 0, SDK will automatically estimate the delay.
	 *
	 * @return {0} if successful
	 */
	public native int SmartPublisherSetEchoCancellation(long handle, int isCancel, int delay);

7. 设置混音，可用于比如两路音频混音场景，具体可参考一对一互动的demo

	/**
	 * 设置混音,目前支持两路音频混音
	 *
	 * @param is_mix: 1混音, 0不混音, 默认不混音
	 *
	 * @return {0} if successful
	 */
	public native int SmartPublisherSetAudioMix(long handle, int is_mix);

8. 实时静音，实时静音顾名思义，推送过程中，暂停音频推送

    /**
     * Set mute or not during publish stream(设置实时静音)
     * 
     * @param isMute: if with 1:mute, if with 0: does not mute
     * 
     * @return {0} if successful
     */
    public native int SmartPublisherSetMute(long handle, int isMute);

9. 用于设置输入音量，范围是[0.0, 5.0]，除非麦克风采集到的audio过小，一般不建议放大，放大的话，会引入噪音等

	/**
	 * 设置输入音量, 这个接口一般不建议调用, 在一些特殊情况下可能会用, 一般不建议放大音量
	 *
	 * @param index: 一般是0和1, 如果没有混音的只用0, 有混音的话, 0,1分别设置音量
	 *
	 * @param volume: 音量，默认是1.0，范围是[0.0, 5.0], 设置成0静音, 1音量不变
	 *
	 * @return {0} if successful
	 */
	public native int SmartPublisherSetInputAudioVolume(long handle, int index, float volume);

10. 对接外部实时采集的PCM数据，考虑到集成方便，我们提供了以下三个接口，注意PCM音频数据接口每10ms传第一次audio数据

	/**
	 * 传递PCM音频数据给SDK, 每10ms音频数据传入一次
	 * 
	 *  @param pcmdata: pcm数据, 需要使用ByteBuffer.allocateDirect分配, ByteBuffer.isDirect()是true的才行.
	 *  @param size: pcm数据大小
	 *  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100
	 *  @param channel: 通道, 当前通道支持单通道(1)和双通道(2)，推荐单通道(1)
	 *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
	 */
	public native int SmartPublisherOnPCMData(long handle, ByteBuffer pcmdata, int size, int sample_rate, int channel, int per_channel_sample_number);


	/**
	 * 传递PCM音频数据给SDK, 每10ms音频数据传入一次
	 *
	 *  @param pcmdata: pcm数据, 需要使用ByteBuffer.allocateDirect分配, ByteBuffer.isDirect()是true的才行.
	 *  @param offset: pcmdata的偏移
	 *  @param size: pcm数据大小
	 *  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100
	 *  @param channel: 通道, 当前通道支持单通道(1)和双通道(2)，推荐单通道(1)
	 *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
	 */
	public native int SmartPublisherOnPCMDataV2(long handle, ByteBuffer pcmdata, int offset, int size, int sample_rate, int channel, int per_channel_sample_number);


	/**
	 * 传递PCM音频数据给SDK, 每10ms音频数据传入一次
	 *
	 *  @param pcm_short_array: pcm数据, short是native endian order
	 *  @param offset: 数组偏移
	 *  @param len: 数组项数
	 *  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100
	 *  @param channel: 通道, 当前通道支持单通道(1)和双通道(2)，推荐单通道(1)
	 *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
	 */
	public native int SmartPublisherOnPCMShortArray(long handle, short[] pcm_short_array, int offset, int len, int sample_rate, int channel, int per_channel_sample_number);

11. 设置传远端数据，主要用于一对一环境下，拉流端拉到的audio，回调上来，通过推送端这个接口设置下去，完成整体的回音消除

	/**
	 * Set far end pcm data
	 * 
	 * @param pcmdata : 16bit pcm data
	 * @param sampleRate: audio sample rate
	 * @param channel: auido channel
	 * @param per_channel_sample_number: per channel sample numbers
	 * @param is_low_latency: if with 0, it is not low_latency, if with 1, it is low_latency
	 * @return {0} if successful
	 */
	public native int SmartPublisherOnFarEndPCMData(long handle,  ByteBuffer pcmdata, int sampleRate, int channel, int per_channel_sample_number, int is_low_latency);

12. PCM混音音频数据接口，注意，每10ms音频数据传入一次

	/**
	 * 传递PCM混音音频数据给SDK, 每10ms音频数据传入一次
	 *
	 *  @param stream_index: 当前只能传1, 传其他返回错误
	 *  @param pcm_data: pcm数据, 需要使用ByteBuffer.allocateDirect分配, ByteBuffer.isDirect()是true的才行.
	 *  @param offset: pcmdata的偏移
	 *  @param size: pcm数据大小
	 *  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}
	 *  @param channels: 通道, 当前通道支持单通道(1)和双通道(2)
	 *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
	 */
	public native int SmartPublisherOnMixPCMData(long handle, int stream_index, ByteBuffer pcm_data, int offset, int size, int sample_rate, int channels, int per_channel_sample_number);


	/**
	 * 传递PCM混音音频数据给SDK, 每10ms音频数据传入一次
	 *
	 *  @param stream_index: 当前只能传1, 传其他返回错误
	 *  @param pcm_short_array: pcm数据, short是native endian order
	 *  @param offset: 数组偏移
	 *  @param len: 数组项数
	 *  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}
	 *  @param channels: 通道, 当前通道支持单通道(1)和双通道(2)
	 *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
	 */
	public native int SmartPublisherOnMixPCMShortArray(long handle, int stream_index, short[] pcm_short_array, int offset, int len, int sample_rate, int channels, int per_channel_sample_number);

13. 用于编码后audio数据对接，主要是转发模块使用

	/**
	 * 设置音频数据(AAC/PCMA/PCMU/SPEEX)
	 *
	 * @param codec_id:
	 *
	 *  NT_MEDIA_CODEC_ID_AUDIO_BASE = 0x10000,
	 *	NT_MEDIA_CODEC_ID_PCMA = NT_MEDIA_CODEC_ID_AUDIO_BASE,
	 *	NT_MEDIA_CODEC_ID_PCMU,
	 *	NT_MEDIA_CODEC_ID_AAC,
	 *	NT_MEDIA_CODEC_ID_SPEEX,
	 *	NT_MEDIA_CODEC_ID_SPEEX_NB,
	 *	NT_MEDIA_CODEC_ID_SPEEX_WB,
	 *	NT_MEDIA_CODEC_ID_SPEEX_UWB,
	 *
	 * @param data audio数据
	 *
	 * @param size data length
	 *
	 * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0, audio忽略
	 *
	 * @param timestamp video timestamp
	 *
	 * @param parameter_info 用于AAC special config信息填充
	 *
	 * @param parameter_info_size parameter info size
	 *
	 * @return {0} if successful
	 */
	public native int SmartPublisherPostAudioEncodedData(long handle, int codec_id, ByteBuffer data, int size, int is_key_frame, long timestamp,ByteBuffer parameter_info, int parameter_info_size);

	/**
	 * 设置音频数据(AAC/PCMA/PCMU/SPEEX)
	 *
	 * @param codec_id:
	 *
	 *  NT_MEDIA_CODEC_ID_AUDIO_BASE = 0x10000,
	 *	NT_MEDIA_CODEC_ID_PCMA = NT_MEDIA_CODEC_ID_AUDIO_BASE,
	 *	NT_MEDIA_CODEC_ID_PCMU,
	 *	NT_MEDIA_CODEC_ID_AAC,
	 *	NT_MEDIA_CODEC_ID_SPEEX,
	 *	NT_MEDIA_CODEC_ID_SPEEX_NB,
	 *	NT_MEDIA_CODEC_ID_SPEEX_WB,
	 *	NT_MEDIA_CODEC_ID_SPEEX_UWB,
	 *
	 * @param data audio数据
	 *
	 * @param offset data的偏移
	 *
	 * @param size data length
	 *
	 * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0, audio忽略
	 *
	 * @param timestamp video timestamp
	 *
	 * @param parameter_info 用于AAC special config信息填充
	 *
	 * @param parameter_info_size parameter info size
	 *
	 * @return {0} if successful
	 */
	public native int SmartPublisherPostAudioEncodedDataV2(long handle, int codec_id,
														   ByteBuffer data, int offset, int size,
														   int is_key_frame, long timestamp,
														   byte[] parameter_info, int parameter_info_size);


    /**
     * 设置音频数据(AAC/PCMA/PCMU/SPEEX)
     *
     * @param codec_id:
     *
     *  NT_MEDIA_CODEC_ID_AUDIO_BASE = 0x10000,
     *	NT_MEDIA_CODEC_ID_PCMA = NT_MEDIA_CODEC_ID_AUDIO_BASE,
     *	NT_MEDIA_CODEC_ID_PCMU,
     *	NT_MEDIA_CODEC_ID_AAC,
     *	NT_MEDIA_CODEC_ID_SPEEX,
     *	NT_MEDIA_CODEC_ID_SPEEX_NB,
     *	NT_MEDIA_CODEC_ID_SPEEX_WB,
     *	NT_MEDIA_CODEC_ID_SPEEX_UWB,
     *
     * @param data audio数据
     *
     * @param offset data的偏移
     *
     * @param size data length
     *
     * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0, audio忽略
     *
     * @param timestamp video timestamp
     *
     * @param parameter_info 用于AAC special config信息填充
     *
     * @param parameter_info_size parameter info size
     *
     * @param sample_rate 采样率,如果需要录像的话必须传正确的值
     *
     *@param channels 通道数, 如果需要录像的话必须传正确的值, 一般是1或者2
     *
     * @return {0} if successful
     */
    public native int SmartPublisherPostAudioEncodedDataV3(long handle, int codec_id,
                                                           ByteBuffer data, int offset, int size,
                                                           int is_key_frame, long timestamp,
                                                           byte[] parameter_info, int parameter_info_size,
                                                           int sample_rate, int channels);

14. 用于编码后的音频数据回调，方便对接第三方系统

	/**
	 * Start output Encoded Data(用于编码后的音视频数据回调)
	 *
	 * @return {0} if successful
	 */
	public native int SmartPublisherStartOutputEncodedData(long handle);

	/**
	 *  Stop output Encoded Data
	 *
	 * @return {0} if successful
	 */
	public native int SmartPublisherStopOutputEncodedData(long handle);

总结

细数下来，光audio相关的接口也有20个，可见开发个Android平台RTMP直播推送模块多么麻烦，当然因为本文提到的RTMP推送，实际使用的公司或开发者群体比较大，如果只是项目需求，好多是用不到的，可以适当精简，做个小而美的模块，不失是个很好的选择。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

移动直播