iOS端 TRTC v2 版本自定义采集视频数据实现

原创

腾讯云-chaoli

发布于 2019-07-07 19:37:53

2K1

发布于 2019-07-07 19:37:53

常见场景

实时音视频 SDK 默认会采集摄像头数据，如果开发者想在 TRTC 中集成使用第三方美颜库来实现美颜、滤镜等预处理功能，可以采用自定义采集视频数据接口，然后复用 LiteAVSDK 的编码和推流功能。目前自定义采集支持的平台包括 iOS 、Android 、Mac OS 、Windows 。接口文档参考：https://cloud.tencent.com/document/product/647/32259#.E8.87.AA.E5.AE.9A.E4.B9.89.E9.87.87.E9.9B.86.E5.92.8C.E6.B8.B2.E6.9F.93

自定义采集视频接口介绍

TRTC SDK 的 iOS 版本支持 NV12 和 i420 两种 YUV 数据格式，在 iOS 平台上，比较高性能的图像传递方式是 CVPixelBufferRef，因此我们建议按如下表格填写参数：

参数填写

参数名称	参数类型	推荐取值	备注说明
pixelFormat	TRTCVideoPixelFormat	TRTCVideoPixelFormat_NV12	iOS 平台上摄像头原生采集出的视频格式即是 NV12。
bufferType	TRTCVideoBufferType	PixelBuffer	iOS中原声支持的视频帧格式，性能最佳。
pixelBuffer	CVPixelBufferRef	如果 TRTCVideoBufferType 是 PixelBuffer 才需填写。	iPhone 摄像头采集的数据是 NV12 格式的 PixelBuffer。
data	NSData*	如果 TRTCVideoBufferType 是 NSData 才需填写。	性能不如 PixelBuffer
timestamp	uint64_t	0	可以填0，这样 SDK 会自定填充 timestamp 字段，但请“均匀”地控制 sendCustomVideoData 的调用间隔。
width	uint64_t	视频画面的宽度	请严格填写传入画面的像素宽度
height	uint32_t	视频画面的高度	请严格填写传入画面的像素高度
rotation	TRTCVideoRotation	不填写	该字段用于自定义渲染，此处无需设置。

示例代码

在 Demo 文件夹中，您会找到一个叫做 TestSendCustomVideoData.m 的文件，它展示了如何从一个本地视频文件中读取出 NV12 格式的 PixelBuffer，并送给 SDK 进行后续处理。

//组装一个 TRTCVideoFrame 并将其送给 trtcCloud 对象
TRTCVideoFrame* videoFrame = [TRTCVideoFrame new];
videoFrame.bufferType = TRTCVideoBufferType_PixelBuffer;
videoFrame.pixelFormat = TRTCVideoPixelFormat_NV12;
videoFrame.pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);

[trtcCloud sendCustomVideoData:videoFrame];

实现步骤

实现自定义采集视频只需要在进房前启用视频自定义采集模式，enableCustomVideoCapture设置为YES。然后将采集到的 yuv 数据通过 sendCustomVideoData 接口不断的回调给SDK，SDK收到数据后会自行编码并进行网络传输。

启用视频自定义采集模式

// 启用视频自定义采集模式
[_trtc enableCustomVideoCapture:YES];

// 打开 SDK 音频采集（自定义采集场景下不需要打开 SDK 本地预览）
// [_trtc startLocalPreview:YES view:_localView];
[_trtc startLocalAudio];

// 进房
TRTCAppScene scene = [TRTCSettingViewController getAppScene];
[_trtc enterRoom:self.param appScene:scene];

将视频数据传给SDK

#pragma mark - AVCaptureVideoDataAndAudioDataOutputSampleBufferDelegate
//以系统API调用 AVCaptureSession 采集 NV12 格式数据为例
- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {

    TRTCVideoFrame* videoFrame = [TRTCVideoFrame new];
    videoFrame.bufferType = TRTCVideoBufferType_PixelBuffer;
    videoFrame.pixelFormat = TRTCVideoPixelFormat_NV12;
    videoFrame.pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
    [_trtc sendCustomVideoData:videoFrame];

}

iOS 6.3及之后版本支持 NV12 和 i420 两种 YUV 数据格式（6.2版本只支持 i420），如果需要转换 yuv 格式可以通过三方库 libyuv 实现

//通过 libyuv 转换 yuv 格式
- (void)nv12ToI420:(CVPixelBufferRef)src dest:(CVPixelBufferRef)dst {

    //图像宽度（像素）
    int pixelWidth = (int)CVPixelBufferGetWidth(src);
    //图像高度（像素）
    int pixelHeight = (int)CVPixelBufferGetHeight(src);

    uint8_t *src_y = NULL;
    uint8_t *src_uv = NULL;
    uint8_t *dst_y = NULL;
    uint8_t *dst_u = NULL;
    uint8_t *dst_v = NULL;
    CVPixelBufferLockBaseAddress(src, 0);
    src_y = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(src, 0);
    src_uv = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(src, 1);
    int src_ystride = (int)CVPixelBufferGetBytesPerRowOfPlane(src, 0);
    int src_uvstride = (int)CVPixelBufferGetBytesPerRowOfPlane(src, 1);
    CVPixelBufferLockBaseAddress(dst, 0);
    dst_y = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(dst, 0);
    dst_u = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(dst, 1);
    dst_v = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(dst, 2);
    int dst_ystride = (int)CVPixelBufferGetBytesPerRowOfPlane(dst, 0);
    int dst_ustride = (int)CVPixelBufferGetBytesPerRowOfPlane(dst, 1);
    int dst_vstride = (int)CVPixelBufferGetBytesPerRowOfPlane(dst, 2);

    NV12ToI420(src_y, src_ystride, src_uv, src_uvstride, dst_y, dst_ystride, dst_u, dst_ustride, dst_v, dst_vstride, pixelWidth, pixelHeight);

    CVPixelBufferUnlockBaseAddress(src, 0);
    CVPixelBufferUnlockBaseAddress(dst, 0);
}

常见问题

1、调用 sendCustomVideoData 接口报错下图错误什么原因？

这个报错的原因是调用 sendCustomVideoData 传参 TRTCVideoFrame 的数据类型不正确导致的，比如设置的 TRTCVideoPixelFormat_I420 类型，但是传给 SDK 的数据类型是 NSData 或者其它就有可能报这个错误。

2、调用 sendCustomVideoData 接口报错提示提示drop one frame by sending frequency too fast! 是什么原因？ 这个提示不是报错而是一个警告，原因是调用 sendCustomVideoData 频率过快，需要确保发送频率和 SDK 里面设置的 TRTCVideoEncParam 帧率保持一致。

3、播放自定义采集的画面出现花屏或者视频画面颜色异常情况？ 这种一般是传给 SDK 的 yuv 格式数据异常导致的，大家都知道y分量表示亮度，u、v 分量表示颜色，如果u、v 分量获取的不正确就会导致画面颜色异常。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

ide

ios

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

ide

ios

登录后参与评论

0 条评论

热度