最近在做一些人脸美妆的工作，用到了CVPixelBufferRef的相关知识，踩到一些坑，做一个小小的总结。

CVPixelBufferRef是属于CoreVideo模块的像素缓冲区对象，存储在主内存中的图像信息。

我们经常看到的CVPixelBufferRef是在Camera采集的图像信息返回数据里的CMSampleBufferRef中包含的CVPixelBufferRef。这是视频硬解码返回数据中的CVPixelBufferRef，里面包含了所有的压缩的图片信息。

今天我们说讨论的是构建另一种形式的CVPixelBufferRef，即有RGB图片构建的；

一般使用图片构建CVPixelBufferRef的用途主要是：
1、获取设备解码后的图像数据
2、通过生成后的CVPixelBufferRef创建OpenGL纹理。

下面来了解一下UIimage转CVPixelBufferRef 的过程：

CVPixelBufferRef创建的方式和图片的强制解压缩原理是一致的，增加了一步创建CVPixelBuffer创建的过程。所以，UIimage转CVPixelBuffer的过程包含两个步骤：a、创建CVPixelBuffer b、强制解码图像为位图然后转换成CVPixelBuffer类型。主要涉及的两个主要API，下面就是这两个API的主要参数配置。如果不需要了解原理，最下面是代码实现，直接复制即可，已验证，好使。

创建新的CVPixelBuffer

 *  @ allocator             内存分配器，传NULL来指定默认的分配器。
 *  @ width                 pixel buffer的宽度,单位为像素
 *  @ height                pixel buffer的高度,单位为像素
 *  @ pixelFormatType       像素的格式类型，如kCVPixelFormatType_32BGRA
 *  @ pixelBufferAttributes pixel buffer的属性
 *  @ pixelBufferOut        buffer的地址，返回一个新的buffer
 */
CV_EXPORT CVReturn CVPixelBufferCreate(
 CFAllocatorRef CV_NULLABLE allocator,
 size_t width,
 size_t height,
 OSType pixelFormatType,
 CFDictionaryRef CV_NULLABLE pixelBufferAttributes,
 CV_RETURNS_RETAINED_PARAMETER CVPixelBufferRef CV_NULLABLE * CV_NONNULL pixelBufferOut) __OSX_AVAILABLE_STARTING(__MAC_10_4,__IPHONE_4_0);

注意事项：

1、pixelFormatType需要注意，像素格式不是随意组合的，对于Apple平台仅支持有限的17种方式：

Supported Pixel Formats.png

从上图可知，对于 iOS 来说，只支持 8 种像素格式。其中颜色空间为 Null 的 1 种，Gray 的 2 种，RGB 的 5 种，CMYK 的 0 种。换句话说，iOS 并不支持 CMYK 的颜色空间。另外，在表格的第 2 列中，除了像素格式外，还指定了 bitmap information constant ，下面会继续介绍。

2、pixelBufferAttributes,可以指定pixelbuffer的兼容类型。

kCVPixelBufferCGImageCompatibilityKey，表示与CGImage类型兼容；

kCVPixelBufferCGBitmapContextCompatibilityKey，兼容Core Graphics bitmap contexts；

kCVPixelBufferIOSurfacePropertiesKey，如果使用CVPixelBuffer创建OpenGL的纹理时，这个属性必须要设置，表示内存共享。否则，无法成功创建OpenGL的纹理。

图片强制解码

 *  @ data                 指向要渲染的绘制内存的地址。这个内存块的大小至少是（bytesPerRow*height）个字节
 *  @ width                bitmap的宽度,单位为像素
 *  @ height               bitmap的高度,单位为像素
 *  @ bitsPerComponent     内存中像素的每个组件的位数.例如，对于32位像素格式和RGB颜色空间，你应该将这个值设为8.
 *  @ bytesPerRow          bitmap的每一行在内存所占的比特数
 *  @ space                bitmap上下文使用的颜色空间
 *  @ bitmapInfo           指定bitmap是否包含alpha通道，像素中alpha通道的相对位置，像素组件是整形还是浮点型等信息的字符串。
 */
CG_EXTERN CGContextRef __nullable CGBitmapContextCreate(void * __nullable data,
 size_t width, size_t height, size_t bitsPerComponent, size_t bytesPerRow,
 CGColorSpaceRef cg_nullable space, uint32_t bitmapInfo)
 CG_AVAILABLE_STARTING(__MAC_10_0, __IPHONE_2_0);

最核心的问题就是这几个输入参数的理解，可以参考SDWebImage、YYKit等开源库的图片解码过程；

在这里我们来分析一下几个参数的配置方式：

1）、void * __nullable data要渲染的绘制内存的地址，通过CVPixelBufferGetBaseAddress可以获取到创建的buffer的地址

2）、bitsPerComponent内存中像素的每个组件的位数.例如，对于32位像素格式和RGB颜色空间，你应该将这个值设为8。具体原理如下图：

pixel formats.png

我们从图中可以看出，在 32 位像素格式下，每个颜色分量使用 8 位；而在 16 位像素格式下，每个颜色分量则使用 5 位。

3）、bytesPerRow位图的每一行使用的字节数，大小至少为 width * bytes per pixel 字节。有意思的是，当我们指定 0 时，系统不仅会为我们自动计算，而且还会进行 cache line alignment 的优化。

4）、bitmapInfo位图的布局信息，上面像素格式的组合方式图中也可以明显的看出，每种图像格式都是有固定的位图信息进行匹配的。我们以常用的32位的RGB来说，在iOS平台下，仅支持的格式为：

kCGImageAlphaNoneSkipLast，kCGImageAlphaNoneSkipFirst，kCGImageAlphaPremultipliedLast，kCGImageAlphaPremultipliedLast

需要注意的是，如果图片不需要需要带Alpha信息，选择kCGImageAlphaNoneSkipLast、kCGImageAlphaNoneSkipFirst；

如果需要携带Alpha信息，选择kCGImageAlphaPremultipliedLast、kCGImageAlphaPremultipliedLast

下面是Apple提供的几种类型：

typedef CF_ENUM(uint32_t, CGImageAlphaInfo) {
 kCGImageAlphaNone,               /* For example, RGB. */
 kCGImageAlphaPremultipliedLast,  /* For example, premultiplied RGBA */
 kCGImageAlphaPremultipliedFirst, /* For example, premultiplied ARGB */
 kCGImageAlphaLast,               /* For example, non-premultiplied RGBA */
 kCGImageAlphaFirst,              /* For example, non-premultiplied ARGB */
 kCGImageAlphaNoneSkipLast,       /* For example, RBGX. */
 kCGImageAlphaNoneSkipFirst,      /* For example, XRGB. */
 kCGImageAlphaOnly                /* No color data, alpha data only */
};

注意：

CVPixelBufferCreate函数不支持 kCVPixelFormatType_32RGBA;

支持kCVPixelFormatType_32ARGB和kCVPixelFormatType_32BGRA等

iPhone为小端对齐因此kCVPixelFormatType_32ARGB和kCVPixelFormatType_32BGRA都需要和kCGBitmapByteOrder32Little配合使用

iPhone的大小端对齐方式为小段对齐,必须设置为kCGBitmapByteOrder32Little。可以使用宏 kCGBitmapByteOrder32Host 来解决大小端对齐

所以，对于CGBitmapInfo的设置：

uint32_t bitmapInfo = CGImageAlphaInfo | CGBitmapInfo;

可以根据需要配置正确的位图布局信息，常用的kCVPixelFormatType_32BGRA、kCVPixelFormatType_32ARGB两种格式的布局信息为：

 当inputPixelFormat=kCVPixelFormatType_32BGRA CGBitmapInfo的正确的设置
 uint32_t bitmapInfo = kCGImageAlphaPremultipliedFirst | kCGBitmapByteOrder32Host;
 // 或者
 uint32_t bitmapInfo = kCGImageAlphaNoneSkipFirst | kCGBitmapByteOrder32Host;

 当inputPixelFormat=kCVPixelFormatType_32ARGB CGBitmapInfo的正确的设置
 uint32_t bitmapInfo = kCGImageAlphaPremultipliedFirst | kCGBitmapByteOrder32Big;
 // 或者
 uint32_t bitmapInfo = kCGImageAlphaNoneSkipFirst | kCGBitmapByteOrder32Big;

具体的实现代码如下：

static OSType inputPixelFormat(){
    return kCVPixelFormatType_32BGRA;
}

static uint32_t bitmapInfoWithPixelFormatType(OSType inputPixelFormat, bool hasAlpha){
    
    if (inputPixelFormat == kCVPixelFormatType_32BGRA) {
        uint32_t bitmapInfo = kCGImageAlphaPremultipliedFirst | kCGBitmapByteOrder32Host;
        if (!hasAlpha) {
            bitmapInfo = kCGImageAlphaNoneSkipFirst | kCGBitmapByteOrder32Host;
        }
        return bitmapInfo;
    }else if (inputPixelFormat == kCVPixelFormatType_32ARGB) {
        uint32_t bitmapInfo = kCGImageAlphaPremultipliedFirst | kCGBitmapByteOrder32Big;
        return bitmapInfo;
    }else{
        NSLog(@"不支持此格式");
        return 0;
    }
}

// alpha的判断
BOOL CGImageRefContainsAlpha(CGImageRef imageRef) {
    if (!imageRef) {
        return NO;
    }
    CGImageAlphaInfo alphaInfo = CGImageGetAlphaInfo(imageRef);
    BOOL hasAlpha = !(alphaInfo == kCGImageAlphaNone ||
                      alphaInfo == kCGImageAlphaNoneSkipFirst ||
                      alphaInfo == kCGImageAlphaNoneSkipLast);
    return hasAlpha;
}

// 此方法能还原真实的图片
+ (CVPixelBufferRef)CVPixelBufferRefFromUiImage:(UIImage *)img {
    CGSize size = img.size;
    CGImageRef image = [img CGImage];
    
    BOOL hasAlpha = CGImageRefContainsAlpha(image);
    CFDictionaryRef empty = CFDictionaryCreate(kCFAllocatorDefault, NULL, NULL, 0, &kCFTypeDictionaryKeyCallBacks, &kCFTypeDictionaryValueCallBacks); 
    
    NSDictionary *options = [NSDictionary dictionaryWithObjectsAndKeys:
                             [NSNumber numberWithBool:YES], kCVPixelBufferCGImageCompatibilityKey,
                             [NSNumber numberWithBool:YES], kCVPixelBufferCGBitmapContextCompatibilityKey,
                             empty, kCVPixelBufferIOSurfacePropertiesKey,
                             nil];
    CVPixelBufferRef pxbuffer = NULL;
    CVReturn status = CVPixelBufferCreate(kCFAllocatorDefault, size.width, size.height, inputPixelFormat(), (__bridge CFDictionaryRef) options, &pxbuffer);
    
    NSParameterAssert(status == kCVReturnSuccess && pxbuffer != NULL);
    
    CVPixelBufferLockBaseAddress(pxbuffer, 0);
    void *pxdata = CVPixelBufferGetBaseAddress(pxbuffer);
    NSParameterAssert(pxdata != NULL);
    
    CGColorSpaceRef rgbColorSpace = CGColorSpaceCreateDeviceRGB();
    
    uint32_t bitmapInfo = bitmapInfoWithPixelFormatType(inputPixelFormat(), (bool)hasAlpha);
    
    CGContextRef context = CGBitmapContextCreate(pxdata, size.width, size.height, 8, CVPixelBufferGetBytesPerRow(pxbuffer), rgbColorSpace, bitmapInfo);
    NSParameterAssert(context);
    
    CGContextDrawImage(context, CGRectMake(0, 0, CGImageGetWidth(image), CGImageGetHeight(image)), image);
    CVPixelBufferUnlockBaseAddress(pxbuffer, 0);
    
    CGColorSpaceRelease(rgbColorSpace);
    CGContextRelease(context);
    
    return pxbuffer;
}

参考文档：

谈谈 iOS 中图片的解压缩

FastImageCache

标准的UIimage转CVPixelBufferRef （RGB）