1. 综述

AVFoundation 提供了对底层数据的读写功能，需要用到 AVAssetReader 和 AVAssetWriter 两个核心类。

AVAssetReader 用于从 AVAsset 实例读取媒体样本，需要配置一个或多个 AVAssetReaderOutput 实例。

AVAssetReaderOutput 是一个抽象类，下分三个具体类，负责读取指定 AVAssetTrack 的AVAssetReaderTrackOutput，负责读取多音频轨道的 AVAssetReaderAudioMixOutput，负责读取多媒体轨道的 AVAssetReaderVideoCompositionOutput。其内部通道以多线程方式读取下一个可用样本，从而降低请求资源的延时。但仍然不推荐用 AVAssetReaderOutput 实现包括播放在内的实时操作。

AVAssetWriter 用于对媒体资源进行编码和写入，需要配置一个或多个 AVAssetWriterInput 实例，一个 AVAssetWriterInput 负责一种媒体类型，最终生成独立的 AVAssetTrack。同时还需要用到 AVAssetWriterInputPixelBufferAdaptor 为视频样本提供最优性能。

下面是一个简单的使用示例

• 进行媒体资源读取准备

    AVURLAsset *asset = [[AVURLAsset alloc] initWithURL:videoURL options:nil];
    AVAssetTrack *videoTrack = [[asset tracksWithMediaType:AVMediaTypeVideo] firstObject]; // 获取 video 类型的媒体轨道
    self.assetReader = [[AVAssetReader alloc] initWithAsset:asset error:nil];
    NSDictionary *readerOutputSettings = @{(id)kCVPixelBufferPixelFormatTypeKey:@(kCVPixelFormatType_32BGRA)}; // 将视频帧解压缩为 32 位 BGRA 格式
    AVAssetReaderTrackOutput *trackout = [[AVAssetReaderTrackOutput alloc] initWithTrack:videoTrack outputSettings:readerOutputSettings];
    [self.assetReader addOutput:trackout];
    [self.assetReader startReading];// 做好从 AVAsset 读取样本的准备，如果返回 NO 则表明出错了

• 进行媒体资源写入准备

    self.assetWriter = [[AVAssetWriter alloc] initWithURL:[self outputURL] fileType:AVFileTypeQuickTimeMovie error:nil]; // 指定待写入的 URL 和 媒体类型
    NSDictionary *writeOutputSettings = @{AVVideoCodecKey:AVVideoCodecH264, // 视频格式
                                          AVVideoWidthKey:@1280,
                                          AVVideoHeightKey:@720,
                                          AVVideoCompressionPropertiesKey:@{ // 硬编码参数
                                                  AVVideoAverageBitRateKey:@10500000,
                                                  AVVideoProfileLevelKey:AVVideoProfileLevelH264Main31
                                                  }
                                          };
    AVAssetWriterInput *writerInput = [[AVAssetWriterInput alloc] initWithMediaType:AVMediaTypeVideo outputSettings:writeOutputSettings];
    [self.assetWriter addInput:writerInput];
    [self.assetWriter startWriting]; // 做好写入准备

• 以拉模式写入

    dispatch_queue_t queue = dispatch_queue_create("writer", NULL); // 在串行队列上写入
    [self.assetWriter startSessionAtSourceTime:kCMTimeZero]; // 从视频起始位置开始写入会话
    [writerInput requestMediaDataWhenReadyOnQueue:queue usingBlock:^{ // 准备写入更多样本时调用 block
        BOOL complete = NO;
        while ([writerInput isReadyForMoreMediaData] && !complete) {
            CMSampleBufferRef sampleBuffer = [trackout copyNextSampleBuffer]; // 从读取器读取更多样本
            if (sampleBuffer) {
                BOOL result = [writerInput appendSampleBuffer:sampleBuffer]; // 将样本附加到写入器通道
                CFRelease(sampleBuffer);
                complete = !result;
            } else {
                [writerInput markAsFinished]; // 标记写入完成
                complete = YES;
            }
        }
        
        if (complete) {
            [self.assetWriter finishWritingWithCompletionHandler:^{ // 完成写入
                if (self.assetWriter.status == AVAssetWriterStatusCompleted) { // 判断是否写入成功
                    NSLog(@"complete");
                } else {
                    NSLog(@"fail");
                }
            }];
        }
    }];

2. 创建音频波形视图

音频波形视图即提供图像化显示的音频波形，方便用户查看和编辑音频轨道。其主要步骤包括

• 读取：解压读取音频数据
• 采样：实际读取到的样本数量巨大，需要进行采样，在每一个样本块上取 min、max 或者 average 值
• 渲染：在 UI 界面上渲染得到的采样值（与 AVFoundation 无关）

2.1 读取音频样本

首先是对读取器和读取通道的初始化

    NSError *error = nil;
    
    AVAssetReader *assetReader = [[AVAssetReader alloc] initWithAsset:asset error:&error]; // 配置 AVAssetReader
    if (!assetReader) {
        NSLog(@"Error creating asset reader: %@", [error localizedDescription]);
        return nil;
    }
    AVAssetTrack *track = [[asset tracksWithMediaType:AVMediaTypeAudio] firstObject]; // 配置音频轨道
    NSDictionary *outputSettings = @{
        AVFormatIDKey               : @(kAudioFormatLinearPCM), // 读取格式为 PCM，一种未压缩的音频样本格式
        AVLinearPCMIsBigEndianKey   : @NO, // 小端字节顺序
        AVLinearPCMIsFloatKey       : @NO, // 有符号整型
        AVLinearPCMBitDepthKey      : @(16) // 位元深度 16 位
    };
    AVAssetReaderTrackOutput *trackOutput = [[AVAssetReaderTrackOutput alloc] initWithTrack:track outputSettings:outputSettings];
    [assetReader addOutput:trackOutput];
    [assetReader startReading];

然后循环读取样本值并转移

    NSMutableData *sampleData = [NSMutableData data];
    while (assetReader.status == AVAssetReaderStatusReading) { // 持续读取样本
        CMSampleBufferRef sampleBuffer = [trackOutput copyNextSampleBuffer]; // 读取一个音频样本
        if (sampleBuffer) {
            CMBlockBufferRef blockBufferRef = CMSampleBufferGetDataBuffer(sampleBuffer); // 获取其对应的不保留引用的 block buffer
            size_t length = CMBlockBufferGetDataLength(blockBufferRef); // 获取样本长度
            SInt16 sampleBytes[length];
            CMBlockBufferCopyDataBytes(blockBufferRef, 0, length, sampleBytes); // 转移样本内的数据到一个空数组
            [sampleData appendBytes:sampleBytes length:length]; // 添加数组到 NSMutableData 中
            CMSampleBufferInvalidate(sampleBuffer);
            CFRelease(sampleBuffer);// 回收样本
        }
    }

2.2 采样音频样本

屏幕空间有限，而读取的音频样本非常庞大，因此需要进行采样。基本思路是将样本按照一定距离进行分割，在分割出的一个独立"箱"中找到最大样本。

- (NSArray *)filteredSamplesForSize:(CGSize)size {
    NSMutableArray *filteredSamples = [[NSMutableArray alloc] init];
    NSUInteger sampleCount = self.sampleData.length / sizeof(SInt16); // 获取样本个数，样本格式是 SInt16，总长度除以单个数据长度
    NSUInteger binSize = sampleCount / size.width; // 获取一个样本箱的大小

    SInt16 *bytes = (SInt16 *) self.sampleData.bytes; // 获取样本的基地址
    for (NSUInteger i = 0; i < sampleCount; i += binSize) { // 遍历样本箱
        SInt16 sampleBin[binSize];
        for (NSUInteger j = 0; j < binSize; j++) { // 遍历箱内样本
            sampleBin[j] = CFSwapInt16LittleToHost(bytes[i + j]); // 由于是按照小端顺序读取，需要通过 CFSwapInt16LittleToHost 方法转换为主机的本地字节顺序
        }
        SInt16 value = [self maxValueInArray:sampleBin ofSize:binSize]; // 取出样本箱中最大值
        [filteredSamples addObject:@(value)]; // 添加到采样数组中
    }
    return filteredSamples;
}

3. 捕捉录制的高级方法

AVCaptureVideoDataOutput 无法像 AVCaptureMovieFileOutput 一样便捷地记录输出，它需要用到 AVAssetWriter 方法，但是另一方面可以对每一帧数据进行实时处理，因此更为灵活和强大。使用 AVCaptureVideoDataOutput 记录媒体资源需要注意以下几个地方

• 初始化过程
• 实时渲染预览页面
• 记录媒体输出

3.1 初始化

初始化 AVCaptureVideoDataOutput 和 AVCaptureAudioDataOutput

    self.videoDataOutput = [[AVCaptureVideoDataOutput alloc] init];
    NSDictionary *outputSettings = @{(id)kCVPixelBufferPixelFormatTypeKey : @(kCVPixelFormatType_32BGRA)}; // 设置输出为 32 位 BGRA 格式
    self.videoDataOutput.videoSettings = outputSettings;
    self.videoDataOutput.alwaysDiscardsLateVideoFrames = NO; // 默认为 YES，会立即丢弃在 captureOutput：didOutputSampleBuffer：fromConnection：delegate 方法中阻止处理当前捕获帧的帧，设置为 NO 可以给委托方法额外时间处理样本，但是会带来性能上的损耗
    [self.videoDataOutput setSampleBufferDelegate:self queue:self.dispatchQueue]; // 将委托回调加入到串行队列中
    if ([self.captureSession canAddOutput:self.videoDataOutput]) {
        [self.captureSession addOutput:self.videoDataOutput];
    } else {
        return NO;
    }
    
    self.audioDataOutput = [[AVCaptureAudioDataOutput alloc] init];
    [self.audioDataOutput setSampleBufferDelegate:self queue:self.dispatchQueue];
    if ([self.captureSession canAddOutput:self.audioDataOutput]) {
        [self.captureSession addOutput:self.audioDataOutput];
    } else {
        return NO;
    }

3.2 实时渲染预览页面

- (void)captureOutput:(AVCaptureOutput *)captureOutput
didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer
       fromConnection:(AVCaptureConnection *)connection {
    if (captureOutput == self.videoDataOutput) { // 判断是 video 通道
        CVPixelBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer); // 取出像素帧
        CIImage *sourceImage = [CIImage imageWithCVPixelBuffer:imageBuffer options:nil]; // 生成预览的 UIImage
    }
}

当然实际上很多时候我们需要对预览加上滤镜效果，此时可以用 CIFilter 实现，首先通过 name 获取一系列的 CIFilter

+ (NSArray *)filterNames {
    
    return @[@"CIPhotoEffectChrome",
             @"CIPhotoEffectFade",
             @"CIPhotoEffectInstant",
             @"CIPhotoEffectMono",
             @"CIPhotoEffectNoir",
             @"CIPhotoEffectProcess",
             @"CIPhotoEffectTonal",
             @"CIPhotoEffectTransfer"];
}

+ (CIFilter *)filterForDisplayName:(NSString *)displayName {
    for (NSString *name in [self filterNames]) {
        if ([name containsString:displayName]) {
            return [CIFilter filterWithName:name];
        }
    }
    return nil;
}

然后对 UIImage 对象使用 CIFilter

    [self.filter setValue:sourceImage forKey:kCIInputImageKey];
    CIImage *filteredImage = self.filter.outputImage;

3.3 记录媒体输出

记录输出前首先要对 videoInput 和 audioInput 进行初始化

        NSError *error = nil;
        NSString *fileType = AVFileTypeQuickTimeMovie;
        self.assetWriter = [AVAssetWriter assetWriterWithURL:[self outputURL] fileType:fileType error:&error]; // 初始化 writer
        if (!self.assetWriter || error) {
            NSString *formatString = @"Could not create AVAssetWriter: %@";
            NSLog(@"%@", [NSString stringWithFormat:formatString, error]);
            return;
        }

        self.assetWriterVideoInput = [[AVAssetWriterInput alloc] initWithMediaType:AVMediaTypeVideo outputSettings:self.videoSettings];
        self.assetWriterVideoInput.expectsMediaDataInRealTime = YES; // 指明输入应该针对实时性进行优化
        
        UIDeviceOrientation orientation = [UIDevice currentDevice].orientation;
        self.assetWriterVideoInput.transform = THTransformForDeviceOrientation(orientation); // 修复 orientation

        NSDictionary *attributes = @{
            (id)kCVPixelBufferPixelFormatTypeKey : @(kCVPixelFormatType_32BGRA), // 与 AVCaptureVideoDataOutput 使用的像素格式一致能够保证最大效率
            (id)kCVPixelBufferWidthKey : self.videoSettings[AVVideoWidthKey],
            (id)kCVPixelBufferHeightKey : self.videoSettings[AVVideoHeightKey],
            (id)kCVPixelFormatOpenGLESCompatibility : (id)kCFBooleanTrue
        };
        self.assetWriterInputPixelBufferAdaptor = [[AVAssetWriterInputPixelBufferAdaptor alloc] initWithAssetWriterInput:self.assetWriterVideoInput sourcePixelBufferAttributes:attributes]; //AVAssetWriterInputPixelBufferAdaptor 提供一个优化的 pixelBufferPool
        
        if ([self.assetWriter canAddInput:self.assetWriterVideoInput]) {
            [self.assetWriter addInput:self.assetWriterVideoInput];
        } else {
            NSLog(@"Unable to add video input.");
            return;
        }

        self.assetWriterAudioInput = [[AVAssetWriterInput alloc] initWithMediaType:AVMediaTypeAudio outputSettings:self.audioSettings];
        self.assetWriterAudioInput.expectsMediaDataInRealTime = YES;
        if ([self.assetWriter canAddInput:self.assetWriterAudioInput]) {
            [self.assetWriter addInput:self.assetWriterAudioInput];
        } else {
            NSLog(@"Unable to add audio input.");
        }

这里要注意，对于初始化 AVAssetWriterInput 和 AVAssetWriterInput 时需要用到的 settings 值，iOS 7 提供了一些便捷方法来获取

• recommendedVideoSettingsForAssetWriterWithOutputFileType 获取指定类型的视频设置
• recommendedAudioSettingsForAssetWriterWithOutputFileType 获取指定类型的音频设置

    if (!self.isWriting) { // 检测是否正在记录
        return;
    }
    
    CMFormatDescriptionRef formatDesc = CMSampleBufferGetFormatDescription(sampleBuffer); // 获取当前帧的描述信息
    CMMediaType mediaType = CMFormatDescriptionGetMediaType(formatDesc); // 获取媒体类型

    if (mediaType == kCMMediaType_Video) {
        CMTime timestamp = CMSampleBufferGetPresentationTimeStamp(sampleBuffer); // 获取时间戳
        if (self.firstSample) { // 如果是第一帧，则进行写入启动操作
            if ([self.assetWriter startWriting]) {
                [self.assetWriter startSessionAtSourceTime:timestamp]; // 在当前时间戳启动
            } else {
                NSLog(@"Failed to start writing.");
            }
            self.firstSample = NO;
        }
        
        CVPixelBufferRef outputRenderBuffer = NULL;
        CVPixelBufferPoolRef pixelBufferPool = self.assetWriterInputPixelBufferAdaptor.pixelBufferPool; // 获取到 adaptor 的 pixelBufferPool
        OSStatus err = CVPixelBufferPoolCreatePixelBuffer(NULL, pixelBufferPool, &outputRenderBuffer); // 创建一个空的 CVPixelBufferRef，使用该 buffer 渲染筛选好的视频帧
        if (err) {
            NSLog(@"Unable to obtain a pixel buffer from the pool.");
            return;
        }

        CVPixelBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer); // 获取当前样本的像素帧
        CIImage *sourceImage = [CIImage imageWithCVPixelBuffer:imageBuffer options:nil]; // 生成 CIImage
        [self.activeFilter setValue:sourceImage forKey:kCIInputImageKey]; // 滤镜配置
        CIImage *filteredImage = self.activeFilter.outputImage;

        if (!filteredImage) {
            filteredImage = sourceImage;
        }

        [self.ciContext render:filteredImage toCVPixelBuffer:outputRenderBuffer bounds:filteredImage.extent colorSpace:self.colorSpace]; // 将 CIImage 渲染到空的 CVPixelBufferRef 中

        if (self.assetWriterVideoInput.readyForMoreMediaData) {
            if (![self.assetWriterInputPixelBufferAdaptor appendPixelBuffer:outputRenderBuffer withPresentationTime:timestamp]) { // 写入到 adaptor 中，完成对视频帧的处理
                NSLog(@"Error appending pixel buffer.");
            }
        }
        
        CVPixelBufferRelease(outputRenderBuffer); // 回收被渲染的帧
    }
    else if (!self.firstSample && mediaType == kCMMediaType_Audio) {
        if (self.assetWriterAudioInput.isReadyForMoreMediaData) {
            if (![self.assetWriterAudioInput appendSampleBuffer:sampleBuffer]) { // 音频样本直接写入
                NSLog(@"Error appending audio sample buffer.");
            }
        }
    }

具体的操作已经在注释中写明了，此处不再过多说明。最终结束写入操作时，仍然需要调用 finishWritingWithCompletionHandler 方法

        [self.assetWriter finishWritingWithCompletionHandler:^{
            if (self.assetWriter.status == AVAssetWriterStatusCompleted) {
                dispatch_async(dispatch_get_main_queue(), ^{
                    NSURL *fileURL = [self.assetWriter outputURL]; // 拿到 url 后进行相册保存操作
                });
            } else {
                NSLog(@"Failed to write movie: %@", self.assetWriter.error);
            }
        }];