AVFoundation视频编辑

https://github.com/WarBand/AVFoundationOCDemo

编辑

AVFoundation支持视频的编辑和导出。

使用AVAssetExportSession进行简单的编辑

AVAssetExportSession可以将特定AVAsset中的内容导出到磁盘中。看一段最简单的导出代码。

//载入视频源
NSURL *url = [[NSBundle mainBundle] URLForResource:@"ElephantSeals" withExtension:@"mov"];
    AVAsset *videoAsset = [AVAsset assetWithURL:url];
//导出
AVAssetExportSession *exporter = [[AVAssetExportSession alloc] initWithAsset:videoAsset presetName:AVAssetExportPresetHighestQuality];
NSString *outputPath = [NSString stringWithFormat:@"%@/tmp/test.%@", NSHomeDirectory(),CFBridgingRelease(UTTypeCopyPreferredTagWithClass((CFStringRef)AVFileTypeQuickTimeMovie, kUTTagClassFilenameExtension))];
NSURL *outputUrl = [NSURL fileURLWithPath:outputPath];
if ([[NSFileManager defaultManager] fileExistsAtPath:outputPath]) {
    [[NSFileManager defaultManager] removeItemAtURL:outputUrl error:nil];
}
NSLog(@"输出至: %@", outputUrl);
//设置输出路径
exporter.outputURL = outputUrl;
//设置输出文件类型
exporter.outputFileType = AVFileTypeQuickTimeMovie;
[exporter exportAsynchronouslyWithCompletionHandler:^{
    NSLog(@"status: %ld; error: %@;", (long)exporter.status, exporter.error);
}];

timeRange

以上的代码完成了视频导出导出磁盘,AVAssetExportSession有一个属性timeRange的,在以上的代码中如果加入

exporter.timeRange = exporter.timeRange = CMTimeRangeMake(kCMTimeZero, CMTimeMake(2, 1));

导出的视频就是原视频的前两秒。

这样的裁剪只是将视频的一部分导出,这似乎不能算是一个完全的视频编辑。这样的功能似乎不能使我们满意

使用AVComposition

视频编辑的过程是将已有视频文件中的视频流数据和音频流数据拼合到一个新的容器中,然后导出。AVFoundation中,AVAsset就是这样一个扮演容器的角色,但是AVAsset的设计并不是为了修改视频和音频数据。这里要使用到一个子类AVComposition。

AVComposition是继承自AVAsset的一个子类,根据苹果命名API的习惯推测,应该还有一个可编辑的子类。那就是AVMutableComposition。

开始前的准备工作

为了使用AVMutableComposition。首先创建一个工具方法。

- (void)exportAvasset:(AVAsset *)asset
{
    //导出
    AVAssetExportSession *exporter = [[AVAssetExportSession alloc] initWithAsset:asset presetName:AVAssetExportPresetHighestQuality];
    NSString *outputPath = [NSString stringWithFormat:@"%@/tmp/test.%@", NSHomeDirectory(),CFBridgingRelease(UTTypeCopyPreferredTagWithClass((CFStringRef)AVFileTypeQuickTimeMovie, kUTTagClassFilenameExtension))];
    NSURL *outputUrl = [NSURL fileURLWithPath:outputPath];
    if ([[NSFileManager defaultManager] fileExistsAtPath:outputPath]) {
        [[NSFileManager defaultManager] removeItemAtURL:outputUrl error:nil];
    }
    NSLog(@"输出至: %@", outputUrl);
    exporter.outputURL = outputUrl;
    exporter.outputFileType = AVFileTypeQuickTimeMovie;
    [exporter exportAsynchronouslyWithCompletionHandler:^{
        NSLog(@"status: %ld; error: %@;", (long)exporter.status, exporter.error);
    }];
}

接下来,还需要一个包含视频流数据和音频数据的集合对象,并且将其中的视频流数据和音频数据提去出来。

/** 载入视频源 */
    NSURL *url = [[NSBundle mainBundle] URLForResource:@"ElephantSeals" withExtension:@"mov"];
    AVAsset *videoAsset = [AVAsset assetWithURL:url];
AVAssetTrack *videoTrack = [[videoAsset tracksWithMediaType:AVMediaTypeVideo] firstObject];
    AVAssetTrack *audioTrack = [[videoAsset tracksWithMediaType:AVMediaTypeAudio] firstObject];
这个方法将一个AVAsset对象导出到沙盒tmp文件夹下,并命名为test.mov。

这个是我工程中的一个视频文件,时长为7秒。

创建导出的视频源

/** 创建待输出的视频源 */
    AVMutableComposition *mutableComposition = [AVMutableComposition composition];

AVComposition继承自AVAsset,本身就是视频流和音频流的一个集合,AVMutableComposition就是一个视频流和音频流都可以编辑的集合。使用addMutableTrackWithMediaType方法可以向AVMutableComposition中添加一个视频流
如下

/** 向待输出的视频源添加视频流*/
    AVMutableCompositionTrack *videoCompositionTrack = [mutableComposition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid];

此处添加的是一条视频流track。当然这条track里面什么也没有,只是一个可以编辑的track。接下来就要提取已有视频的track插入到其中。

/** 将提取出的视频流插入到待输出的视频流上 */
    [videoCompositionTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, CMTimeMake(2, 1)) ofTrack:videoAssetTrack atTime:CMTimeMake(2, 1) error:nil];

通过导出文件的方法导出文件

    [self exportAvasset:mutableComposition];

这一句代码将提取的视频数据插入到了从两秒开始,也就将要导出的视频变成了4秒,前两秒是空白啥也没有。但是你发现这个文件没有声音。因为我们还没有插入音频数据。

插入音频数据

插入音频的过程和插入视频类似

AVMutableCompositionTrack *audioCompositionTrack = [mutableComposition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid];
    [audioCompositionTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, CMTimeMake(2, 1)) ofTrack:audioTrack atTime:kCMTimeZero error:nil];

这一段将准备好的音频流的前两秒插到了开头。将导出方法移动到最后,导出文件,可以发现导出的视频文件里面有了声音,但是只前两秒。

有了上面两种编辑功能,视频的拼接已经可以实现了。但是AVFoundation能做的还不止这些。

AVMutableVideoComposition和AVMutableAudioMix

回到导出方法中的AVAssetExportSession,AVAssetExportSession还有两个属性

@property (nonatomic, copy, nullable) AVAudioMix *audioMix;
@property (nonatomic, copy, nullable) AVVideoComposition *videoComposition;

使用AVMutableVideoComposition控制视频

将导出方法改成下面的样子。

- (void)exportAvasset:(AVAsset *)asset videoComposition:(AVVideoComposition *)videoComposition

并在方法内部添加

    exporter.videoComposition = videoComposition;

接下来创建AVMutableVideoComposition并导出

/** 创建视频流输出控制 */
    AVMutableVideoComposition *videoComposition = [AVMutableVideoComposition videoComposition];
    videoComposition.renderSize = videoAssetTrack.naturalSize;
    videoComposition.frameDuration = CMTimeMake(1, 30);

运行发现,这样是不可以的,还需要AVMutableVideoCompositionInstruction

    /** 创建视频流命令控制器 */
    AVMutableVideoCompositionInstruction *mutableVideoCompositionInstruction = [AVMutableVideoCompositionInstruction videoCompositionInstruction];
    /** 设置视频流命令控制器有效时间区域 */
    mutableVideoCompositionInstruction.timeRange = CMTimeRangeMake(kCMTimeZero, mutableComposition.duration);
mutableVideoCompositionInstruction.backgroundColor = [UIColor redColor].CGColor;
    videoComposition.instructions = @[mutableVideoCompositionInstruction];

导出文件后会发现,导出的视频在本来空白的地方多了一个红色的背景。然而也发生一个严重的问题,视频图像不见了!!!而且无论你怎么设置mutableVideoCompositionInstruction.timeRange都无济于事!!!导出的视频只有一个有声音的红色图像!!!
查看一遍头文件,你会发现这一句

/* Provides an array of instances of AVVideoCompositionLayerInstruction that specify how video frames from source tracks should be layered and composed.
   Tracks are layered in the composition according to the top-to-bottom order of the layerInstructions array; the track with trackID of the first instruction
   in the array will be layered on top, with the track with the trackID of the second instruction immediately underneath, etc.
   If this key is nil, the output will be a fill of the background color. */
@property (nonatomic, copy) NSArray<AVVideoCompositionLayerInstruction *> *layerInstructions;

似乎一下在找到了希望,那就赶紧设置AVVideoCompositionLayerInstruction试试,当然我们使用的还是它的mutable的子类

    /** 设置视频流命令控制器图层控制命令(操作待输出视频源的视频流) */
    AVMutableVideoCompositionLayerInstruction *passThroughLayer = [AVMutableVideoCompositionLayerInstruction videoCompositionLayerInstructionWithAssetTrack:[mutableComposition tracksWithMediaType:AVMediaTypeVideo][0]];

 /** 设置命令 */
    videoComposition.instructions = @[mutableVideoCompositionInstruction];

导出文件你会发现,视频出来了,而且长度也是4秒,前面的空白也是红色。
不过这样看起来,貌似也没什么,除了比开始的代码多了一个红色的空白背景,也没什么特别的嘛,而且黑色的背景可能还更好看呢。那么继续往下设置。

    [passThroughLayer setTransform:CGAffineTransformMakeTranslation(0, 250) atTime:CMTimeMake(2, 1)];
    [passThroughLayer setTransform:CGAffineTransformMakeTranslation(0, 500) atTime:CMTimeMake(3, 1)];

导出以后,画面在设置的时间点,发生了偏移,继续设置

    [passThroughLayer setOpacityRampFromStartOpacity:0.5 toEndOpacity:1 timeRange:CMTimeRangeMake(CMTimeMake(2, 1), CMTimeMake(3, 1))];

视频发生了一个透明变化的动画。

AVMutableVideoComposition除了instructions这个属性以外还有这样一个属性

/* indicates a special video composition tool for use of Core Animation; may be nil */
@property (nonatomic, retain, nullable) AVVideoCompositionCoreAnimationTool *animationTool;

官方文档中给出的是一段加水印的代码,我在这里做了点儿修改,现在加上去感受下

   /** 水印 */
    CGSize videoSize = CGSizeMake(videoTrack.naturalSize.width, videoTrack.naturalSize.height);
    CATextLayer *textLayer = [CATextLayer layer];

    textLayer.backgroundColor = [UIColor redColor].CGColor;
    textLayer.string = @"123456";
    textLayer.bounds = CGRectMake(0, 0, videoSize.width * 0.5, videoSize.height * 0.5);
    
    CALayer *baseLayer = [CALayer layer];
    [baseLayer addSublayer:textLayer];
    baseLayer.position = CGPointMake(videoComposition.renderSize.width/2, videoComposition.renderSize.height/2);
    
    CALayer *videoLayer = [CALayer layer];
    videoLayer.frame = CGRectMake(0, 0, videoSize.width, videoSize.height);
    CALayer *parentLayer = [CALayer layer];
    parentLayer.frame = CGRectMake(0, 0, videoSize.width, videoSize.height);
    
    [parentLayer addSublayer:videoLayer];
    [parentLayer addSublayer:baseLayer];
    AVVideoCompositionCoreAnimationTool *animalTool = [AVVideoCompositionCoreAnimationTool videoCompositionCoreAnimationToolWithPostProcessingAsVideoLayer:videoLayer inLayer:parentLayer];
    videoComposition.animationTool = animalTool;

有点长,导出后,画面中,出现了一个白色的123456,我自己改的代码,画面当然也是惨不忍睹,这里不做探究,我在使用过程中,发现设置这个属性,会出现导出的视频画面被斜拉的现象,最后通过调整layer的属性才把画面正过来,这里感觉有坑啊。
瞅了几遍这个类的名字,你会发现名字里面有CoreAnimation,你竟然只能打水印。这也太对不起你的名字了吧。经过我的实验,下面在加水印的后面继续添加

    CABasicAnimation *baseAnimation = [CABasicAnimation animationWithKeyPath:@"position"];
    baseAnimation.fromValue = [NSValue valueWithCGPoint:CGPointMake(100, 100)];
    baseAnimation.toValue = [NSValue valueWithCGPoint:CGPointMake(200, 200)];
    baseAnimation.repeatCount = 5;
    baseAnimation.beginTime = AVCoreAnimationBeginTimeAtZero;
    baseAnimation.duration = 1;
    baseAnimation.removedOnCompletion = NO;
    [textLayer addAnimation:baseAnimation forKey:@"hehe"];

那个水印竟然有了动画。
到这里,视频的编辑基本就告一段落了,下面是音频的编辑。

AVMutableAudioMix

我们将导出方法继续修改一下

- (void)exportAvasset:(AVAsset *)asset videoComposition:(AVVideoComposition *)videoComposition audioMix:(AVAudioMix *)audioMix

并在方法内部添加

exporter.audioMix = audioMix;

现在开始音频的编辑, AVMutableAudioMix 重要的属性只有一个inputParameters,是一个存放AVMutableAudioMixInputParameters的数组

//音频
    //音频
    AVMutableAudioMix *audioMix = [AVMutableAudioMix audioMix];
    AVMutableAudioMixInputParameters *inputParameter = [AVMutableAudioMixInputParameters audioMixInputParametersWithTrack:audioCompositionTrack];
    audioMix.inputParameters = @[inputParameter];
    [inputParameter setVolumeRampFromStartVolume:0 toEndVolume:1 timeRange:CMTimeRangeMake(kCMTimeZero, CMTimeMake(2, 1))];

导出使用

[self exportAvasset:mutableComposition videoComposition:videoComposition audioMix:audioMix];

声音会有一个从高到低的变化过程。

*********************************遇到的问题************************************
使用AVMutableCompositionTrack的insertTimeRange方法,编辑时,会遇到如下错误。
Error Domain=AVFoundationErrorDomain Code=-11800 "The operation could not be completed" UserInfo={NSLocalizedDescription=The operation could not be completed, NSUnderlyingError=0x166833a0 {Error Domain=NSOSStatusErrorDomain Code=-12780 "(null)"}, NSLocalizedFailureReason=An unknown error occurred (-12780)}
基本这个错误都是由于数据源都是造成的,即使是在AVMutableCompositionTrack和AVAssetTrack对象都存在的情况下,也要注意AVAssetTrack所在的AVAsset是否存在。如果AVAsset被释放了,源数据都是,插入自然也是失败的。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,014评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,796评论 3 386
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,484评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,830评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,946评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,114评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,182评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,927评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,369评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,678评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,832评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,533评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,166评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,885评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,128评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,659评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,738评论 2 351

推荐阅读更多精彩内容

  • 发现 关注 消息 iOS 第三方库、插件、知名博客总结 作者大灰狼的小绵羊哥哥关注 2017.06.26 09:4...
    肇东周阅读 12,067评论 4 62
  • 1 AVFoundation简介 1.1 Apple的媒体处理体系 Apple的媒体处理体系分为高、中、低三层,i...
    RichardJieChen阅读 2,268评论 1 2
  • 原文:AVFoundation Programming Guide 写在前面 简单翻译一下AVFoundation...
    朦胧1919阅读 1,599评论 0 1
  • 在有机会看到玫瑰花后,便看不上月季花了,首先觉得名字土,没有玫瑰洋气,没有玫瑰的娇艳,代表爱情的美好。在看过牡丹后...
    琴韵2竹语阅读 379评论 0 1
  • 老胡生病了!腰缠万贯的富家翁生病了! 老胡的病古怪得很,身体其他部分·没啥毛病,但就是觉得心脏不舒...
    风微云摇阅读 243评论 0 1