iOS-视频硬编/解码（对帧图片编辑）

开发遇到这样一个需求，需要对一个视频进行解码，解码生成的每一帧图片，都要对其进行编辑，生成一张新的图片，在实时编码成一个新的视频。

这里我们分为三步走

1. 对视频进行解码

我这边采用的是iOS利用VideoToolbox实现视频硬解码中的方式，demo中提供了两种解码方式，一种是第三方库ffmpeg，另外一种是系统的videotoolbox库，效率基本上都差不多，作者封装后都会有一个代理回调，

// XDXVideoDecoderDelegate
- (void)getVideoDecodeDataCallback:(CMSampleBufferRef)sampleBuffer isFirstFrame:(BOOL)isFirstFrame;
// XDXFFmpegVideoDecoderDelegate
- (void)getDecodeVideoDataByFFmpeg:(CMSampleBufferRef)sampleBuffer;

两种回调都会有一个CMSampleBufferRef的对象，它是像素缓冲，其实就是我们解码后的每一帧的图片。

2. 合成图片

在第一步中我们已经拿到了每一帧的图片，现在我们在其基础上合成本地图片，合成图片我首先想到的是下面的方法，

- (UIImage *)composeImg:(UIImage *)image1 coverImage:(UIImage *)image2 coverRect:(CGRect)rect {
    CGImageRef imgRef1 = image1.CGImage;
    CGFloat w1 = CGImageGetWidth(imgRef1);
    CGFloat h1 = CGImageGetHeight(imgRef1);
    
    //以1的图大小为画布创建上下文
    UIGraphicsBeginImageContext(CGSizeMake(w1, h1));
    [image1 drawInRect:CGRectMake(0, 0, w1, h1)];//先把1.png 画到上下文中
    [image2 drawInRect:rect];//再把小图放在上下文中
    UIImage *resultImg = UIGraphicsGetImageFromCurrentImageContext();//从当前上下文中获得最终图片
    UIGraphicsEndImageContext();//关闭上下文
    CGImageRelease(imgRef1);
    
    return resultImg;
}

这个方法是通过两个image的对象，最终合成一个新的image，效果可以实现，但是在我们这个场景中，我们在对视频解码时，是一个连续异步的操作，代理会不断的回调，此时如果采用这个方式，会多次创建局部对象，不能及时释放，导致内存爆增，引起闪退。所以我采用以下方式

-(void)getDecodeVideoDataByFFmpeg:(CMSampleBufferRef)sampleBuffer {
    CVPixelBufferRef pix = CMSampleBufferGetImageBuffer(sampleBuffer);
    [self.previewView displayPixelBuffer:pix];
    count ++;
    NSLog(@"count ==== %ld" , (long)count);
    
    UIImage *coverImage = [UIImage imageWithContentsOfFile:[[NSBundle mainBundle] pathForResource:[NSString stringWithFormat:@"%ld", (long)count] ofType:@"png"]];

    [[VideoCreator manager] appendPixelBuffer2:pix overlayImage:coverImage overlayFrame:[self getCoverRect:count] frameCounter:1];
    
}

这里我用的是CIImage，它提供了一个系统的api

// CIImage提供的api，把一个image放在buffer上面，bounds可以截取image的区域，并不能改变他的位置，colorSpace是渲染格式一般是CGColorSpaceCreateDeviceRGB()
- (void)render:(CIImage *)image
toCVPixelBuffer:(CVPixelBufferRef)buffer
        bounds:(CGRect)bounds
    colorSpace:(nullable CGColorSpaceRef)colorSpace NS_AVAILABLE(10_11,5_0);

- (void)appendPixelBuffer2:(CVPixelBufferRef)pixelBuffer overlayImage:(UIImage *)overlayImage overlayFrame:(CGRect)overlayFrame frameCounter:(int)frameCounter {
    int bufferW = (int)CVPixelBufferGetWidth(pixelBuffer);
    int bufferH = (int)CVPixelBufferGetHeight(pixelBuffer);
    CVPixelBufferLockBaseAddress( pixelBuffer, 0 );

    CGColorSpaceRef cSpace = CGColorSpaceCreateDeviceRGB();

    CIImage *ciimage = [self imageWithBuffer:pixelBuffer Size:CGSizeMake(bufferW, bufferH) waterImg:overlayImage waterFrame:overlayFrame];

    [_ciContext render:ciimage toCVPixelBuffer:pixelBuffer bounds:ciimage.extent colorSpace:cSpace];

    [self appendPixelBuffer:pixelBuffer frameCounter:frameCounter];

    CVPixelBufferUnlockBaseAddress(pixelBuffer, 0);
    CGColorSpaceRelease(cSpace);
}
/// 特别要注意这里的autoreleasepool，因为在arc的状态下，oc对象系统会及时释放，但是UIGraphicsBeginImageContext这样的创建的c的对象，并不能及时释放，所以要把此类对象放到缓存池里面，不使用时能够释放掉。
- (CIImage *)imageWithBuffer:(CVPixelBufferRef)buffer Size:(CGSize)layerSize  waterImg:(UIImage *)waterImg waterFrame:(CGRect)rect{
    @autoreleasepool{
        UIImage *bufferImage = [UIImage imageFromPixelBuffer:buffer];
        UIGraphicsBeginImageContext(layerSize);

        [bufferImage drawInRect:CGRectMake(0, 0, layerSize.width, layerSize.height)];
        
        [waterImg drawInRect:rect];
        
        UIImage *image = UIGraphicsGetImageFromCurrentImageContext();
        
        UIGraphicsEndImageContext();
        
        CIImage *ciimage = [CIImage imageWithCGImage:image.CGImage];
        
        return  ciimage;
    }
}

3. 合成视频

- (void)appendPixelBuffer:(CVPixelBufferRef)pixelBuffer frameCounter:(int)frameCounter {
    CMTime frameTime = CMTimeMake(_frameCount, self.fps);
    
    if (!_adaptor.assetWriterInput.readyForMoreMediaData) {
        return;
    }
    if (pixelBuffer == NULL) {
        return;
    }
    
    if (![_adaptor appendPixelBuffer:pixelBuffer withPresentationTime:frameTime]) {
        NSLog(@"保存视频失败");
        if (self.inputFieldBlcok) {
            self.inputFieldBlcok();
        }
    }else {
        NSLog(@"保存视频成功");
        if (self.inputSuccessBlcok) {
            self.inputSuccessBlcok();
        }
    }
    
    _frameCount += frameCounter;
}