iOS端 TRTC v2 版本自定义采集视频数据实现

常见场景

实时音视频 SDK 默认会采集摄像头数据,如果开发者想在 TRTC 中集成使用第三方美颜库来实现美颜滤镜等预处理功能,可以采用自定义采集视频数据接口,然后复用 LiteAVSDK 的编码和推流功能。 目前自定义采集支持的平台包括 iOS 、Android 、Mac OS 、Windows 。接口文档参考:https://cloud.tencent.com/document/product/647/32259#.E8.87.AA.E5.AE.9A.E4.B9.89.E9.87.87.E9.9B.86.E5.92.8C.E6.B8.B2.E6.9F.93

自定义采集视频接口介绍

TRTC SDK 的 iOS 版本支持 NV12 和 i420 两种 YUV 数据格式,在 iOS 平台上,比较高性能的图像传递方式是 CVPixelBufferRef,因此我们建议按如下表格填写参数:

参数填写

参数名称

参数类型

推荐取值

备注说明

pixelFormat

TRTCVideoPixelFormat

TRTCVideoPixelFormat_NV12

iOS 平台上摄像头原生采集出的视频格式即是 NV12。

bufferType

TRTCVideoBufferType

PixelBuffer

iOS中原声支持的视频帧格式,性能最佳。

pixelBuffer

CVPixelBufferRef

如果 TRTCVideoBufferType 是 PixelBuffer 才需填写。

iPhone 摄像头采集的数据是 NV12 格式的 PixelBuffer。

data

NSData*

如果 TRTCVideoBufferType 是 NSData 才需填写。

性能不如 PixelBuffer

timestamp

uint64_t

0

可以填0,这样 SDK 会自定填充 timestamp 字段,但请“均匀”地控制 sendCustomVideoData 的调用间隔。

width

uint64_t

视频画面的宽度

请严格填写传入画面的像素宽度

height

uint32_t

视频画面的高度

请严格填写传入画面的像素高度

rotation

TRTCVideoRotation

不填写

该字段用于自定义渲染,此处无需设置。

示例代码

在 Demo 文件夹中,您会找到一个叫做 TestSendCustomVideoData.m 的文件,它展示了如何从一个本地视频文件中读取出 NV12 格式的 PixelBuffer,并送给 SDK 进行后续处理。

//组装一个 TRTCVideoFrame 并将其送给 trtcCloud 对象
TRTCVideoFrame* videoFrame = [TRTCVideoFrame new];
videoFrame.bufferType = TRTCVideoBufferType_PixelBuffer;
videoFrame.pixelFormat = TRTCVideoPixelFormat_NV12;
videoFrame.pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);

[trtcCloud sendCustomVideoData:videoFrame];

实现步骤

实现自定义采集视频只需要在进房前启用视频自定义采集模式,enableCustomVideoCapture设置为YES。然后将采集到的 yuv 数据通过 sendCustomVideoData 接口不断的回调给SDK,SDK收到数据后会自行编码并进行网络传输。

  • 启用视频自定义采集模式
// 启用视频自定义采集模式
[_trtc enableCustomVideoCapture:YES];

// 打开 SDK 音频采集(自定义采集场景下不需要打开 SDK 本地预览)
// [_trtc startLocalPreview:YES view:_localView];
[_trtc startLocalAudio];

// 进房
TRTCAppScene scene = [TRTCSettingViewController getAppScene];
[_trtc enterRoom:self.param appScene:scene];
  • 将视频数据传给SDK
#pragma mark - AVCaptureVideoDataAndAudioDataOutputSampleBufferDelegate
//以系统API调用 AVCaptureSession 采集 NV12 格式数据为例
- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {

    TRTCVideoFrame* videoFrame = [TRTCVideoFrame new];
    videoFrame.bufferType = TRTCVideoBufferType_PixelBuffer;
    videoFrame.pixelFormat = TRTCVideoPixelFormat_NV12;
    videoFrame.pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
    [_trtc sendCustomVideoData:videoFrame];

}
  • iOS 6.3及之后版本支持 NV12 和 i420 两种 YUV 数据格式(6.2版本只支持 i420),如果需要转换 yuv 格式可以通过三方库 libyuv 实现
//通过 libyuv 转换 yuv 格式
- (void)nv12ToI420:(CVPixelBufferRef)src dest:(CVPixelBufferRef)dst {

    //图像宽度(像素)
    int pixelWidth = (int)CVPixelBufferGetWidth(src);
    //图像高度(像素)
    int pixelHeight = (int)CVPixelBufferGetHeight(src);

    uint8_t *src_y = NULL;
    uint8_t *src_uv = NULL;
    uint8_t *dst_y = NULL;
    uint8_t *dst_u = NULL;
    uint8_t *dst_v = NULL;
    CVPixelBufferLockBaseAddress(src, 0);
    src_y = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(src, 0);
    src_uv = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(src, 1);
    int src_ystride = (int)CVPixelBufferGetBytesPerRowOfPlane(src, 0);
    int src_uvstride = (int)CVPixelBufferGetBytesPerRowOfPlane(src, 1);
    CVPixelBufferLockBaseAddress(dst, 0);
    dst_y = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(dst, 0);
    dst_u = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(dst, 1);
    dst_v = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(dst, 2);
    int dst_ystride = (int)CVPixelBufferGetBytesPerRowOfPlane(dst, 0);
    int dst_ustride = (int)CVPixelBufferGetBytesPerRowOfPlane(dst, 1);
    int dst_vstride = (int)CVPixelBufferGetBytesPerRowOfPlane(dst, 2);

    NV12ToI420(src_y, src_ystride, src_uv, src_uvstride, dst_y, dst_ystride, dst_u, dst_ustride, dst_v, dst_vstride, pixelWidth, pixelHeight);

    CVPixelBufferUnlockBaseAddress(src, 0);
    CVPixelBufferUnlockBaseAddress(dst, 0);
}

常见问题

1、调用 sendCustomVideoData 接口报错下图错误什么原因?

这个报错的原因是调用 sendCustomVideoData 传参 TRTCVideoFrame 的数据类型不正确导致的,比如设置的 TRTCVideoPixelFormat_I420 类型,但是传给 SDK 的数据类型是 NSData 或者其它就有可能报这个错误。

2、调用 sendCustomVideoData 接口报错提示提示drop one frame by sending frequency too fast! 是什么原因? 这个提示不是报错而是一个警告,原因是调用 sendCustomVideoData 频率过快,需要确保发送频率和 SDK 里面设置的 TRTCVideoEncParam 帧率保持一致。

3、播放自定义采集的画面出现花屏或者视频画面颜色异常情况? 这种一般是传给 SDK 的 yuv 格式数据异常导致的,大家都知道y分量表示亮度,u、v 分量表示颜色,如果u、v 分量获取的不正确就会导致画面颜色异常。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券