常见场景

实时音视频 SDK 默认会采集摄像头数据，如果开发者想在 TRTC 中集成使用第三方美颜库来实现美颜、滤镜等预处理功能，可以采用自定义采集视频数据接口，然后复用 LiteAVSDK 的编码和推流功能。 目前自定义采集支持的平台包括 iOS 、Android 、Mac OS 、Windows 。接口文档参考：https://cloud.tencent.com/document/product/647/32259#.E8.87.AA.E5.AE.9A.E4.B9.89.E9.87.87.E9.9B.86.E5.92.8C.E6.B8.B2.E6.9F.93

自定义采集视频接口介绍

TRTC SDK 的 iOS 版本支持 NV12 和 i420 两种 YUV 数据格式，在 iOS 平台上，比较高性能的图像传递方式是 CVPixelBufferRef，因此我们建议按如下表格填写参数：

参数填写

示例代码

在 Demo 文件夹中，您会找到一个叫做 TestSendCustomVideoData.m 的文件，它展示了如何从一个本地视频文件中读取出 NV12 格式的 PixelBuffer，并送给 SDK 进行后续处理。

//组装一个 TRTCVideoFrame 并将其送给 trtcCloud 对象
TRTCVideoFrame* videoFrame = [TRTCVideoFrame new];
videoFrame.bufferType = TRTCVideoBufferType_PixelBuffer;
videoFrame.pixelFormat = TRTCVideoPixelFormat_NV12;
videoFrame.pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
        
[trtcCloud sendCustomVideoData:videoFrame];      

实现步骤

实现自定义采集视频只需要在进房前启用视频自定义采集模式，enableCustomVideoCapture设置为YES。然后将采集到的 yuv 数据通过 sendCustomVideoData 接口不断的回调给SDK，SDK收到数据后会自行编码并进行网络传输。

• 启用视频自定义采集模式

// 启用视频自定义采集模式
[_trtc enableCustomVideoCapture:YES];

// 打开 SDK 音频采集（自定义采集场景下不需要打开 SDK 本地预览）
// [_trtc startLocalPreview:YES view:_localView];
[_trtc startLocalAudio];

// 进房
TRTCAppScene scene = [TRTCSettingViewController getAppScene];
[_trtc enterRoom:self.param appScene:scene];

• 将视频数据传给SDK

#pragma mark - AVCaptureVideoDataAndAudioDataOutputSampleBufferDelegate
//以系统API调用 AVCaptureSession 采集 NV12 格式数据为例
- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {
    
    TRTCVideoFrame* videoFrame = [TRTCVideoFrame new];
    videoFrame.bufferType = TRTCVideoBufferType_PixelBuffer;
    videoFrame.pixelFormat = TRTCVideoPixelFormat_NV12;
    videoFrame.pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
    [_trtc sendCustomVideoData:videoFrame];
    
}

• iOS 6.3及之后版本支持 NV12 和 i420 两种 YUV 数据格式（6.2版本只支持 i420），如果需要转换 yuv 格式可以通过三方库 libyuv 实现

//通过 libyuv 转换 yuv 格式
- (void)nv12ToI420:(CVPixelBufferRef)src dest:(CVPixelBufferRef)dst {

    //图像宽度（像素）
    int pixelWidth = (int)CVPixelBufferGetWidth(src);
    //图像高度（像素）
    int pixelHeight = (int)CVPixelBufferGetHeight(src);
    
    uint8_t *src_y = NULL;
    uint8_t *src_uv = NULL;
    uint8_t *dst_y = NULL;
    uint8_t *dst_u = NULL;
    uint8_t *dst_v = NULL;
    CVPixelBufferLockBaseAddress(src, 0);
    src_y = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(src, 0);
    src_uv = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(src, 1);
    int src_ystride = (int)CVPixelBufferGetBytesPerRowOfPlane(src, 0);
    int src_uvstride = (int)CVPixelBufferGetBytesPerRowOfPlane(src, 1);
    CVPixelBufferLockBaseAddress(dst, 0);
    dst_y = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(dst, 0);
    dst_u = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(dst, 1);
    dst_v = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(dst, 2);
    int dst_ystride = (int)CVPixelBufferGetBytesPerRowOfPlane(dst, 0);
    int dst_ustride = (int)CVPixelBufferGetBytesPerRowOfPlane(dst, 1);
    int dst_vstride = (int)CVPixelBufferGetBytesPerRowOfPlane(dst, 2);
    
    NV12ToI420(src_y, src_ystride, src_uv, src_uvstride, dst_y, dst_ystride, dst_u, dst_ustride, dst_v, dst_vstride, pixelWidth, pixelHeight);
    
    CVPixelBufferUnlockBaseAddress(src, 0);
    CVPixelBufferUnlockBaseAddress(dst, 0);
}

常见问题

1、调用 sendCustomVideoData 接口报错下图错误什么原因？

image

2、调用 sendCustomVideoData 接口报错提示提示drop one frame by sending frequency too fast! 是什么原因？

这个提示不是报错而是一个警告，原因是调用 sendCustomVideoData 频率过快，需要确保发送频率和 SDK 里面设置的 TRTCVideoEncParam 帧率保持一致。

3、播放自定义采集的画面出现花屏或者视频画面颜色异常情况？

这种一般是传给 SDK 的 yuv 格式数据异常导致的，大家都知道y分量表示亮度，u、v 分量表示颜色，如果u、v 分量获取的不正确就会导致画面颜色异常。