开发遇到这样一个需求，需要对一个视频进行解码，解码生成的每一帧图片，都要对其进行编辑，生成一张新的图片，在实时编码成一个新的视频。
这里我们分为三步走
1. 对视频进行解码
我这边采用的是iOS利用VideoToolbox实现视频硬解码中的方式，demo中提供了两种解码方式，一种是第三方库ffmpeg，另外一种是系统的videotoolbox库，效率基本上都差不多，作者封装后都会有一个代理回调，
// XDXVideoDecoderDelegate
- (void)getVideoDecodeDataCallback:(CMSampleBufferRef)sampleBuffer isFirstFrame:(BOOL)isFirstFrame;
// XDXFFmpegVideoDecoderDelegate
- (void)getDecodeVideoDataByFFmpeg:(CMSampleBufferRef)sampleBuffer;
两种回调都会有一个CMSampleBufferRef的对象，它是像素缓冲，其实就是我们解码后的每一帧的图片。
2. 合成图片
在第一步中我们已经拿到了每一帧的图片，现在我们在其基础上合成本地图片，合成图片我首先想到的是下面的方法，
- (UIImage *)composeImg:(UIImage *)image1 coverImage:(UIImage *)image2 coverRect:(CGRect)rect {
CGImageRef imgRef1 = image1.CGImage;
CGFloat w1 = CGImageGetWidth(imgRef1);
CGFloat h1 = CGImageGetHeight(imgRef1);
//以1的图大小为画布创建上下文
UIGraphicsBeginImageContext(CGSizeMake(w1, h1));
[image1 drawInRect:CGRectMake(0, 0, w1, h1)];//先把1.png 画到上下文中
[image2 drawInRect:rect];//再把小图放在上下文中
UIImage *resultImg = UIGraphicsGetImageFromCurrentImageContext();//从当前上下文中获得最终图片
UIGraphicsEndImageContext();//关闭上下文
CGImageRelease(imgRef1);
return resultImg;
}
这个方法是通过两个image的对象，最终合成一个新的image，效果可以实现，但是在我们这个场景中，我们在对视频解码时，是一个连续异步的操作，代理会不断的回调，此时如果采用这个方式，会多次创建局部对象，不能及时释放，导致内存爆增，引起闪退。所以我采用以下方式
-(void)getDecodeVideoDataByFFmpeg:(CMSampleBufferRef)sampleBuffer {
CVPixelBufferRef pix = CMSampleBufferGetImageBuffer(sampleBuffer);
[self.previewView displayPixelBuffer:pix];
count ++;
NSLog(@"count ==== %ld" , (long)count);
UIImage *coverImage = [UIImage imageWithContentsOfFile:[[NSBundle mainBundle] pathForResource:[NSString stringWithFormat:@"%ld", (long)count] ofType:@"png"]];
[[VideoCreator manager] appendPixelBuffer2:pix overlayImage:coverImage overlayFrame:[self getCoverRect:count] frameCounter:1];
}
这里我用的是CIImage，它提供了一个系统的api
// CIImage提供的api，把一个image放在buffer上面，bounds可以截取image的区域，并不能改变他的位置，colorSpace是渲染格式一般是CGColorSpaceCreateDeviceRGB()
- (void)render:(CIImage *)image
toCVPixelBuffer:(CVPixelBufferRef)buffer
bounds:(CGRect)bounds
colorSpace:(nullable CGColorSpaceRef)colorSpace NS_AVAILABLE(10_11,5_0);
- (void)appendPixelBuffer2:(CVPixelBufferRef)pixelBuffer overlayImage:(UIImage *)overlayImage overlayFrame:(CGRect)overlayFrame frameCounter:(int)frameCounter {
int bufferW = (int)CVPixelBufferGetWidth(pixelBuffer);
int bufferH = (int)CVPixelBufferGetHeight(pixelBuffer);
CVPixelBufferLockBaseAddress( pixelBuffer, 0 );
CGColorSpaceRef cSpace = CGColorSpaceCreateDeviceRGB();
CIImage *ciimage = [self imageWithBuffer:pixelBuffer Size:CGSizeMake(bufferW, bufferH) waterImg:overlayImage waterFrame:overlayFrame];
[_ciContext render:ciimage toCVPixelBuffer:pixelBuffer bounds:ciimage.extent colorSpace:cSpace];
[self appendPixelBuffer:pixelBuffer frameCounter:frameCounter];
CVPixelBufferUnlockBaseAddress(pixelBuffer, 0);
CGColorSpaceRelease(cSpace);
}
/// 特别要注意这里的autoreleasepool，因为在arc的状态下，oc对象系统会及时释放，但是UIGraphicsBeginImageContext这样的创建的c的对象，并不能及时释放，所以要把此类对象放到缓存池里面，不使用时能够释放掉。
- (CIImage *)imageWithBuffer:(CVPixelBufferRef)buffer Size:(CGSize)layerSize waterImg:(UIImage *)waterImg waterFrame:(CGRect)rect{
@autoreleasepool{
UIImage *bufferImage = [UIImage imageFromPixelBuffer:buffer];
UIGraphicsBeginImageContext(layerSize);
[bufferImage drawInRect:CGRectMake(0, 0, layerSize.width, layerSize.height)];
[waterImg drawInRect:rect];
UIImage *image = UIGraphicsGetImageFromCurrentImageContext();
UIGraphicsEndImageContext();
CIImage *ciimage = [CIImage imageWithCGImage:image.CGImage];
return ciimage;
}
}
3. 合成视频
- (void)appendPixelBuffer:(CVPixelBufferRef)pixelBuffer frameCounter:(int)frameCounter {
CMTime frameTime = CMTimeMake(_frameCount, self.fps);
if (!_adaptor.assetWriterInput.readyForMoreMediaData) {
return;
}
if (pixelBuffer == NULL) {
return;
}
if (![_adaptor appendPixelBuffer:pixelBuffer withPresentationTime:frameTime]) {
NSLog(@"保存视频失败");
if (self.inputFieldBlcok) {
self.inputFieldBlcok();
}
}else {
NSLog(@"保存视频成功");
if (self.inputSuccessBlcok) {
self.inputSuccessBlcok();
}
}
_frameCount += frameCounter;
}
