OC之 Cameras And Media

1、简介

AVFoundation为iOS中的视频、照片和音频捕获服务提供了一整个体系结构。可以使用AVFoundation实现很多功能：

构建一个自定义的相机UI，提高用户体验；
生成与系统摄像机UI不同的结果，例如原始格式照片、深度地图或带有定制定时元数据的视频；
直接从捕获设备获得对像素或音频数据流的实时访问；
配置内置摄像头、内置麦克风或外部捕捉设备；
录制视频与音频、扫描二维码等；

2、Cameras And Media 体系

这个体系结构的主要由以下三大部分组成：

捕获会话AVCaptureSession：将一个或多个输入连接到一个或多个输出；
输入AVCaptureInput：是媒体的来源，包括内置在iOS设备或Mac中的摄像头和麦克风等捕获设备；
输出AVCaptureOutput：从输入中获取媒体，以生成有用的数据，比如写入磁盘的电影文件或用于实时处理的原始像素缓冲区；

体系结构.png

3、会话管理 `AVCaptureSession`

AVCaptureSession 继承自NSObject，是AVFoundation的核心类；用于管理捕获对象AVCaptureInput的视频和音频的输入，协调捕获的输出AVCaptureOutput。

AVCaptureSession内部流程.png

要执行实时或脱机捕获，需要实例化AVCaptureSession对象并添加适当的输入(如AVCaptureDeviceInput)和输出(如AVCaptureMovieFileOutput)。下面的代码片段说明了如何配置捕获设备来记录视频:

 AVCaptureSession *captureSession = [[AVCaptureSession alloc] init];
 AVCaptureDevice *videoCaptureDevice = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];
 NSError *error = nil;
 AVCaptureDeviceInput *videoInput = [AVCaptureDeviceInput deviceInputWithDevice:videoCaptureDevice error:&error];
 AVCaptureMovieFileOutput *videoOutput = [[AVCaptureMovieFileOutput alloc] init];
 if ([captureSession canAddInput:videoInput]) {
    [captureSession addInput:videoInput];
 }
 else {
    //处理失败
 }

 if ([captureSession canAddOutput:videoOutput]){
    [captureSession addOutput:videoOutput];
 }
 else {
    //处理失败
 }

可以调用startRunning来启动从输入到输出的数据流，并调用stopRunning来停止流。

注意：startRunning方法是一个耗时操作，它会阻塞当前线程直到启动会话完毕；因此应该在串行队列上执行会话设置，这样主队列就不会阻塞(这会使UI保持响应)。可以参见Apple Demo 示例。

4、底层硬件管理 `AVCaptureDevice`

输入设备AVCaptureDevice 继承自NSObject：是关于相机硬件的接口，用于配置底层硬件的属性（例如相机聚焦、白平衡、感光度ISO、曝光、帧率、闪光灯、缩放等），这些底层硬件包括前置摄像头、后置摄像头、麦克风、闪光灯等。使用AVCaptureDevice向AVCaptureSession对象提供输入数据(如音频或视频)。

5、输入管理 `AVCaptureInput`

AVCaptureInput 继承 NSObject，是设备输入数据管理对象，可以根据AVCaptureDevice创建对应的AVCaptureDeviceInput对象。该对象将会被添加到会话AVCaptureSession中管理，为会话AVCaptureSession提供输入数据。
调用AVCaptureSession的实例方法-addInput:将AVCaptureInput对象与会话关联。

AVCaptureInput只有一个属性：@property(nonatomic, readonly) NSArray<AVCaptureInputPort *> *ports捕获输入的端口的集合，每个端口对应于它们能够生成的每个数据流；当端口的格式描述发生变化时，每个AVCaptureInputPort实例都会发布一个AVCaptureInputPortFormatDescriptionDidChangeNotification。

我们常用的AVCaptureInput的子类有三个：

AVCaptureInput继承关系.png

AVCaptureDeviceInput：用于从AVCaptureDevice对象捕获数据。
AVCaptureScreenInput：从macOS屏幕上录制的一种捕获输入。
AVCaptureMetadataInput：它为AVCaptureSession提供AVMetadataItems。AVCaptureMetadataInputs呈现了一个且只有一个AVCaptureInputPort，它目前可能只连接到AVCaptureMovieFileOutput。通过输入端口提供的元数据由客户机提供，并且必须符合客户机提供的CMFormatDescription。AVMetadataItems在AVTimedMetadataGroup中提供。

6、输出管理 `AVCaptureOutput`

AVCaptureOutput 继承 NSObject，是输出数据管理对象。该对象将会被添加到会话AVCaptureSession中管理，用于接收会话AVCaptureSession各类输出数据。
AVCaptureOutput提供了一个抽象接口，用于将捕获输出目的地(如文件和视频预览)连接到捕获会话AVCaptureSession的实例。捕获输出可以有多个由AVCaptureConnection对象表示的连接，一个连接对应于它从捕获输入(AVCaptureInput的实例)接收的每个媒体流。捕获输出在首次创建时没有任何连接。当向捕获会话添加输出时，将创建连接，将该会话的输入的媒体数据映射到其输出。
调用AVCaptureSession的-addOutput:方法将AVCaptureOutput与AVCaptureSession关联。

我们常用的AVCaptureOutput的子类如下所示：

AVCaptureOutput继承关系.png

AVCaptureAudioDataOutput ：一种捕获输出，用于记录音频，并在录制音频时提供对音频样本缓冲区的访问。
AVCaptureAudioPreviewOutput ：一种捕获输出，与一个核心音频输出设备相关联、可用于播放由捕获会话捕获的音频。
AVCaptureDepthDataOutput ：在兼容的摄像机设备上记录场景深度信息的捕获输出。
AVCaptureMetadataOutput ：用于处理捕获会话AVCaptureSession产生的定时元数据的捕获输出。
AVCaptureStillImageOutput ：在macOS中捕捉静止照片的捕获输出。该类在iOS 10.0中被弃用，并且不支持新的相机捕获功能，例如原始图像输出和实时照片。在iOS 10.0或更高版本中，使用AVCapturePhotoOutput类代替。
AVCapturePhotoOutput ：静态照片、动态照片和其他摄影工作流的捕获输出。
AVCaptureVideoDataOutput ：记录视频并提供对视频帧进行处理的捕获输出。
AVCaptureFileOutput ：用于捕获输出的抽象超类，可将捕获数据记录到文件中。
AVCaptureMovieFileOutput ：继承自AVCaptureFileOutput，将视频和音频记录到QuickTime电影文件的捕获输出。
AVCaptureAudioFileOutput ：继承自AVCaptureFileOutput，记录音频并将录制的音频保存到文件的捕获输出。

OC之 Cameras And Media

1、简介

2、Cameras And Media 体系

3、会话管理 AVCaptureSession

4、底层硬件管理 AVCaptureDevice

5、输入管理 AVCaptureInput

6、输出管理 AVCaptureOutput

3、会话管理 `AVCaptureSession`

4、底层硬件管理 `AVCaptureDevice`

5、输入管理 `AVCaptureInput`

6、输出管理 `AVCaptureOutput`