AVFoundation编程指南（一）

关于AVFoundation

AVFoundation是可用于播放和创建基于时间的视听媒体的几个框架之一。它提供了一个Objective-C界面，您可以使用它来详细处理基于时间的视听数据。例如，您可以使用它来检查，创建，编辑或重新编码媒体文件。您还可以从设备获取输入流，并在实时捕获和回放期间处理视频。**

image

乍看上去

如果只想播放视频，使用AVKit就够了。
要播放声音文件，你可以使用AVAudioPlayer。
要录制音频，你可以使用AVAudioRecorder。

通过AVFoundation表示和使用媒体

AVFoundation框架用于表示媒体的主要类是AVAsset。框架的设计在很大程度上受到这种表示的指导。了解其结构将有助于你了解框架的工作原理。 AVAsset实例是一个或多个媒体数据（音频和视频轨道）的集合的聚合表示。它提供有关整个集合的信息，例如标题，持续时间，自然表示大小等。AVAsset与特定数据格式无关。AVAsset是用于从URL处的媒体创建资产实例的其他类的超类

Asset中的每个媒体数据都是统一类型并称为track(轨道)。在典型的简单情况下，一个track代表音频组件，另一个track代表视频组件;然而，在复杂的构图中，可能存在多个重叠的音频和视频track(轨道)。Asset也可能包含metadata。

AV Foundation的一个重要概念是:初始化asset或track并不一定意味着它已经可以使用了。甚至可能需要一些时间来计算项目的持续时间（MP3文件，例如，可能不包含摘要信息）。不是在计算值时阻塞当前线程，而是通过使用block定义的回调异步请求值并获得回调。

回放

AVFoundation允许您以复杂的方式管理Asset的回放。为此，它将Asset的呈现状态与Asset本身分开。例如，这使您可以同时播放以不同分辨率渲染的同一Asset的两个不同片段。Asset的呈现状态由目对象管理；Asset中每个track的呈现状态由player item track对象管理。例如，使用player item和player item tracks，您可以设置播放器呈现item的视觉部分的大小，设置要在播放期间应用的音频混合参数和视频构图设置，或者禁用播放期间的asset。

您可以使用播放器对象播放播放器项目，并将播放器的输出定向到“核心动画”层。您可以使用播放器队列按顺序安排播放器项目集合的播放。

读取，写入和重新编码Assets

AVFoundation允许你以多种方式创建Asset的新的表示方式。你只需重新编码现有asset，或者在iOS 4.1及更高版本中 - 你可以对asset内容执行操作并将结果另存为新的asset。

你可以使用导出会话将现有asset重新编码为由少量常用预设之一定义的格式。如果你需要对转换进行更多控制，那么在iOS 4.1及更高版本中，你可以串联asset reader和asset writer对象，将asset从一种表示转换为另一种表示。例如，使用这些对象，你可以选择要在输出文件中表示的tracks，指定自己的输出格式，或在转换过程中修改asset。

缩略图

要创建视频演示文稿的缩略图图像，请使用要从其生成缩略图的资源初始化AVAssetImageGenerator的实例。 AVAssetImageGenerator使用默认启用的视频轨道生成图像。

编辑

AVFoundation可以从现有媒体（通常是一个或多个视频和音频轨道）中合成并创建新asset。您可以使用可变的合成来添加和删除tracks，以及调整它们的时间顺序。您还可以设置音频轨道的相对音量和倾斜度。并设置视频轨道的不透明度和不透明度渐变。合成是保存在内存中的媒体片段的组合。使用导出会话导出合成时，它会折叠到文件中。

您还可以使用asset编写器从媒体（例如样本缓冲区或静止图像）创建资产。

视频媒体捕获

摄像机和麦克风的录制输入由捕获会话管理。捕获会话协调从输入设备到输出（例如电影文件）的数据流。即使会话正在运行，也可以为单个会话配置多个输入和输出。您将消息发送到会话以启动和停止数据流。

此外，您可以使用预览层的实例向用户显示摄像机正在录制的内容。

AVFoundation并发编程

来自AVFoundation 的blocks、KVO和通知回调不能保证在任何特定线程或队列上进行。相反，AVFoundation在执行其内部任务的线程或队列上调用这些处理程序。

关于通知和线程，有两个通用准则：

与UI相关的通知在主线程上发生。
需要您创建和/或指定队列的类或方法将在该队列上返回通知。

除了这两个准则（还有一些例外，在参考文档中已有说明），您不应假定会在任何特定线程上返回通知。

如果您正在编写多线程应用程序，则可以使用NSThread方法isMainThread或[[NSThread currentThread] isEqual：<＃A存储的线程参考＃>]来测试调用线程是否是您希望在其上执行工作的线程。您可以使用performSelectorOnMainThread：withObject：waitUntilDone：和performSelector：onThread：withObject：waitUntilDone：modes：等方法将消息重定向到适当的线程。您还可以使用dispatch_async在适当的队列上“反弹”到您的块，这些队列可以是UI任务的主队列，也可以是您准备进行并发操作的队列。有关并发操作的更多信息，请参见《并发编程指南》。有关块的更多信息，请参见块编程主题。 AVCam-iOS：使用AVFoundation捕获图像和电影的示例代码被视为所有AVFoundation功能的主要示例，有关AVFoundation的线程和队列使用示例，可以参考该示例。

先决条件

AVFoundation是一个先进的Cocoa框架。想要有效地使用它，你必须：

对基本Cocoa开发工具和技术的扎实理解。
对blocks有基本的掌握。
对KVC和KVO有基本的了解。
对于playback，基本了解核心动画（参见Core Animation Programming Guide，或者，对于于basic playback，请参阅AVKit Framework Reference。

也可以看看

下面有几个AVFoundation示例，其中两个是理解和实现Camera捕获功能的核心代码：

AVCam-iOS: Using AVFoundation to Capture Images and Movies是用于实现使用相机功能的任何程序的规范示例代码。它是一个完整的Demo，文档齐全，涵盖了大多数功能。

AVCamManual: Extending AVCam to Use Manual Capture API是AVCam的配套应用程序。它使用手动相机控件实现相机功能。它也是一个完整的Demo，有详细记录，应该被视为创建利用手动控制的相机应用程序的规范示例。

RosyWriter是一个演示实时帧处理的示例，特别是如何将过滤器应用于视频内容。这是一个非常常见的开发人员要求，此示例涵盖了该功能。

AVLocationPlayer: Using AVFoundation Metadata Reading APIs演示使用metadata API。