iOS端 TRTC v2 自定义采集音频数据实现

常见场景

实时音视频 TXLiteAVSDK_TRTC 默认通过调用 startLocalAudio: 接口实现音频的采集。如果开发者工程项目有自己的音频采集或者处理逻辑,SDK 也支持自定义音频采集方案:通过 TRTCCloud 的 enableCustomAudioCapture 接口关闭 TRTC SDK 默认的声音采集流程。然后您可以使用 sendCustomAudioData 接口向 TRTC SDK 填充您自己的声音数据。

/**
 * 启用音频自定义采集模式
 *
 * 开启该模式后,SDK 不在运行原有的音频采集流程,只保留编码和发送能力。
 * 您需要用 sendCustomAudioData() 不断地向 SDK 塞入自己采集的视频画面。
 *
 * @note 由于回声抵消(AEC)需要严格的控制声音采集和播放的时间,所以开启自定义音频采集后,AEC 能力可能会失效。
 *
 * @param enable 是否启用, true:启用;false:关闭
 */
- (void)enableCustomAudioCapture:(BOOL)enable;

/**
 * 向 SDK 投送自己采集的音频数据
 *
 * TRTCAudioFrame 推荐如下填写方式:
 *
 * - data:音频帧 buffer。音频帧数据必须是 PCM 格式,推荐每帧20ms采样数。【48000采样率、单声道的帧长度:48000 × 0.02s × 1 × 16bit = 15360bit = 1920字节】。
 * - sampleRate:采样率,仅支持48000。
 * - channel:频道数量(如果是立体声,数据是交叉的),单声道:1; 双声道:2。
 * - timestamp:如果 timestamp 间隔不均匀,会严重影响音画同步和录制出的 MP4 质量。
 *
 * 参考文档:[自定义采集和渲染](https://cloud.tencent.com/document/product/647/34066)。
 *
 * @param frame 音频数据
 * @note 可以设置 frame 中的 timestamp 为 0,相当于让 SDK 自己设置时间戳,但请“均匀”地控制 sendCustomAudioData 的调用间隔,否则会导致声音断断续续。
 */
- (void)sendCustomAudioData:(TRTCAudioFrame *)frame;

接口调用流程

//1、进房之前启用音频自定义采集模式
- (void)enterRoom {
{
    //TRTCParams 定义参考头文件TRTCCloudDef.h
    TRTCParams *params = [[TRTCParams alloc] init];
    params.sdkAppId    = sdkappid;
    params.userId      = userid;
    params.userSig     = usersig;
    params.roomId      = 908; //输入您想进入的房间

    //开启本地视频的预览画面
    [_trtc startLocalPreview:[TRTCMoreViewController isFrontCamera] view:_localView];
    //启用音频自定义采集模式
    [_trtc enableCustomAudioCapture:YES];
    //进入实时音视频房间
    [trtcCloud enterRoom:params appScene:TRTCAppSceneVideoCall];
}

//2、进房成功回调里面开启开发者自身的音频采集
- (void)onEnterRoom:(NSInteger)elapsed {
    NSString *msg = [NSString stringWithFormat:@"[%@]进房成功[%u]: elapsed[%d]", _userID, _roomID, elapsed];

    //自定义采集音频麦克风数据,CustomAudioCapturor 是示例用来采集音频
    [CustomAudioCapturor sharedInstance].delegate = self;
    //参数分别是采样率、声道数、音频buffer字节长度
    [[CustomAudioCapturor sharedInstance] start:48000 nChannels:1 nSampleLen:1920];
}

//3、向 SDK 投送自己采集的音频数据,onAudioCapturePcm 是 CustomAudioCapturor 定义的代理方法用来返回采集的音频 PCM 数据
#pragma mark - CustomAudioCapturorDelegate
- (void)onAudioCapturePcm:(NSData *)pcmData sampleRate:(int)sampleRate channels:(int)channels ts:(uint32_t)timestampMs {

    //拿到PCM数据调用SDK接口去编码和网络传输
    TRTCAudioFrame * frame = [[TRTCAudioFrame alloc] init];
    frame.data = pcmData;
    frame.sampleRate = sampleRate;
    frame.channels = channels;
    frame.timestamp = timestampMs;
    [_trtc sendCustomAudioData:frame];
}

附录:自定义采集音频测试代码

使用 AudioQueue 采集麦克风音频数据:

1、将 CustomAudioCapturor.h 和 CustomAudioCapturor.m 引入您自己的项目工程; 2、在合适的地方(如上述提到的onEnterRoom回调中)调用 start: 方法开始采集; 3、遵循 CustomAudioCapturorDelegate 代理,在代理方法 onAudioCapturePcm: 中调用 sendCustomAudioData: 向 SDK 投送自己采集的音频数据。

@protocol CustomAudioCapturorDelegate

- (void)onAudioCapturePcm:(NSData *)pcmData sampleRate:(int)sampleRate channels:(int)channels ts:(uint32_t)timestampMs;

@end

@interface CustomAudioCapturor : NSObject

@property(nonatomic, weak)id<CustomAudioCapturorDelegate> delegate;

+ (instancetype) sharedInstance;

- (void)start:(int)sampleRate nChannels:(int)channels nSampleLen:(int)sampleLen;

- (void)stop;

@end
//开启音频采集
- (void)start:(int)sampleRate nChannels:(int)channels nSampleLen:(int)sampleLen {
    aqData.mDataFormat.mFormatID         = kAudioFormatLinearPCM; // 2
    aqData.mDataFormat.mSampleRate       = sampleRate;            // 3
    aqData.mDataFormat.mChannelsPerFrame = channels;              // 4
    aqData.mDataFormat.mBitsPerChannel   = 16;                    // 5
    aqData.mDataFormat.mBytesPerPacket   =                        // 6
    aqData.mDataFormat.mBytesPerFrame =
    aqData.mDataFormat.mChannelsPerFrame * sizeof (SInt16);
    aqData.mDataFormat.mFramesPerPacket  = 1;                     // 7
    aqData.mDataFormat.mFormatFlags = kLinearPCMFormatFlagIsSignedInteger | kLinearPCMFormatFlagIsPacked;

    _sendBuf = malloc(sampleLen);
    _sendBufLen = 0;

    _sampleLen = sampleLen;

    [self setAudioSession];

    AudioQueueNewInput (                              // 1
                        &aqData.mDataFormat,                          // 2
                        HandleInputBuffer,                            // 3
                        &aqData,                                      // 4
                        NULL,                                         // 5
                        kCFRunLoopCommonModes,                        // 6
                        0,                                            // 7
                        &aqData.mQueue                                // 8
                        );

    UInt32 dataFormatSize = sizeof (aqData.mDataFormat);       // 1

    AudioQueueGetProperty (                                    // 2
                           aqData.mQueue,                                         // 3
                           kAudioQueueProperty_StreamDescription,                 // 4
                           // in Mac OS X, instead use
                           //    kAudioConverterCurrentInputStreamDescription
                           &aqData.mDataFormat,                                   // 5
                           &dataFormatSize                                        // 6
                           );

    DeriveBufferSize (                               // 1
                      aqData.mQueue,                               // 2
                      &aqData.mDataFormat,                          // 3
                      0.03,                                         // 4
                      &aqData.bufferByteSize                       // 5
                      );

    for (int i = 0; i < kNumberBuffers; ++i) {           // 1
        AudioQueueAllocateBuffer (                       // 2
                                  aqData.mQueue,                               // 3
                                  aqData.bufferByteSize,                       // 4
                                  &aqData.mBuffers[i]                          // 5
                                  );

        AudioQueueEnqueueBuffer (                        // 6
                                 aqData.mQueue,                               // 7
                                 aqData.mBuffers[i],                          // 8
                                 0,                                           // 9
                                 NULL                                         // 10
                                 );
    }

    aqData.mCurrentPacket = 0;                           // 1
    aqData.mIsRunning = true;                            // 2

    AudioQueueStart (                                    // 3
                     aqData.mQueue,                                   // 4
                     NULL                                             // 5
                     );
}

读取本地 PCM 文件

1、将 CustomAudioFileReader.h 、CustomAudioFileReader.m 和 CustomAudio48000_1.pcm 引入您自己的项目工程; 2、在合适的地方(如上述提到的onEnterRoom回调中)调用 start: 方法开始读取 PCM 数据; 3、遵循 CustomAudioFileReaderDelegate 代理,在代理方法 onAudioCapturePcm: 中调用 sendCustomAudioData: 向 SDK 投送音频数据。

@protocol CustomAudioFileReaderDelegate

- (void)onAudioCapturePcm:(NSData *)pcmData sampleRate:(int)sampleRate channels:(int)channels ts:(uint32_t)timestampMs;

@end

@interface CustomAudioFileReader : NSObject

@property(nonatomic, weak)id<CustomAudioFileReaderDelegate> delegate;

+ (instancetype) sharedInstance;

- (void)start:(int)sampleRate nChannels:(int)channels nSampleLen:(int)sampleLen;

- (void)stop;

@end
//开始读取本地PCM文件的音频数据
- (void)start:(int)sampleRate nChannels:(int)channels nSampleLen:(int)sampleLen {
    _sampleLen = sampleLen;

    NSString *resourcePath = [[NSBundle mainBundle] pathForResource:@"CustomAudio48000_1" ofType:@"pcm"];
    _fileData = [NSData dataWithContentsOfFile:resourcePath];

    dispatch_queue_t _unitQueue = dispatch_queue_create("audio_read_queue", DISPATCH_QUEUE_SERIAL);

    self.isStart = YES;
    WEAKIFY(self);
    dispatch_async(_unitQueue, ^{
        STRONGIFY_OR_RET(self);
        while (self.isStart) {
            struct timeval tv;
            gettimeofday(&tv,NULL);
            uint64_t currentTime = tv.tv_sec * 1000 + tv.tv_usec / 1000;
            if (self.delegate) {
                [self.delegate onAudioCapturePcm:[NSData dataWithBytes:self->_fileData.bytes+self->_fileDataReadLen length:self->_sampleLen] sampleRate:48000 channels:1 ts:(uint32_t)currentTime];
            }
            self->_fileDataReadLen += self->_sampleLen;
            if (self->_fileDataReadLen+self->_sampleLen > self->_fileData.length) {
                self->_fileDataReadLen = 0;
            }
            usleep(1000*20);
        }
        self->_fileData = nil;
    });
}

测试代码下载链接

常见问题

1、sendCustomAudioData 接口支持的音频数据格式有什么限制? 音频帧数据必须是 PCM 格式,采样率仅支持48000,声道支持单声道和双声道。

2、调用 sendCustomAudioData 自定义采集接口后,房间其它人听到的这个声音异常有声音重叠或者拉长现象? 调用该接口的频率推荐每帧20ms采样数,需要均匀的控制频率,否则会导致声音断断续续现象。另外,单声道的帧长度计算:48000 × 0.02s × 1 × 16bit = 15360bit = 1920字节,帧长度传的不对也会有上述现象。

3、调用自定义采集音频接口出现回声现象? 由于回声抵消(AEC)需要严格的控制声音采集和播放的时间,所以开启自定义音频采集后,AEC 能力可能会失效。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券