最近公司项目中使用了视频拍摄(转码/限制大小/限制时长/限制分辨率)和视频播放功能, 所以赶紧看看Apple官文, 加固理论基础, 为后续开发做准备.
AVFoundation框架介绍
iOS中AVFoundation的结构
通常使用上层的api即可完成大部分开发需要.
- 如果只是简单的播放一个视频, 使用AVKit.
- 在iOS中, 如果对格式控制很低的情况下拍摄视频时使用UIKit(UIImagePickerController)
在AVFoundation中可以用到一些底层的数据结构, 比如时间相关, 透明度相关等等.
在AVFoundation框架中, 有两块内容: 1. 音频 2. 视频
- 要播放音频文件使用AVAudioPlayer
- 录制音频文件使用AVAudioRecorder
通过AVAudioSession可以控制音频的播放行为, 具体请看Audio Session Programming Guide.
下面是AVFoundation的几块内容或者说几大功能:
AVFoundation中多媒体的表示和使用
- AVAsset, AVFoundation中使用AVAsset来表示一个个多媒体文件. 一个AVAsset对象中包含了许多媒体文件信息, 比如标题, 时长, 大小等等.
- AVAsset有许多子类, 这些子类有用来从URL中获取media对象(见使用Assets), 或者用来合成新的media(见编辑功能)
- Asset对象中的基础数据成为通道(
track), 比如音频通道, 视频通道等. - 使用Asset对象时需要注意, 有时获取asset对象需要时间(比如计算mp3文件的时长), 所以可以异步获取asset后, 再使用Block回调通知主线程.
播放
- AVFoundation将Asset对象的状态表示和Asset对象分离, 这样可以同时在同一asset对象上以不同分辨率方式播放不同部分.
- asset对象的状态表示使用
player对象进行管理. - 使用
palyer对象来播放Asset的内容, 还可以将player对象放到Core Animation的layer上, 使用player queue来顺序播放一组player对象
编辑Asset
- 可以对现有的asset进行重组编码, iOS 4.1后可以改变asset的内容, 并输出.
- 使用export session来改变现有的asset的编码, 如果要完全控制转换过程, 可以联合使用
asset writer和asset reader两个对象来达到目的. - 如果要输出可见waveform, 可以使用
asset reader来读取asset的音频通道
缩略图 Thumbnails
视频缩略图使用AVAssetImageGenerator 对象从asset中获取.
编辑
- AVFoundation使用
compositions对象使用现有的多谋体材料(一个或多个视频+音频通道)创建新的asset. - 通过可变的
composition可以添加/删除/调整顺序tracks, -
composition对象是多媒体在内存的一片组成部分. 通过export session可以将其导出为文件 - 另外还可以通过多媒体文件(比如
sample buffers或者静态图片'still images')创建一个信息的asset
视频录制和拍摄图片
- 通过
capture session来使用摄像头和麦克风来录制多媒体文件. -
capture session对象使用输入设备产生的数据流来生产比如视频文件. - 这个
session对象有inputs和outputs来配置录制行为, 有start和stop等方法控制录制流, 而且session在开启录制后, 也可以改变inputs或outputs配置. - 另外使用
preview layer来展示录制的视频给用户进行预览.
AVFoundation中使用并发编程
- 来自AVFoundation的回调(blocks, key-value observers, 或notification handlers的调用)不保证在任何特定线程或队列上进行. 而是在AVFoundation在执行内部任务的线程或队列上调用.
- 对通知和线程一般有两种准则:
- UI相关通知的发生在主线程
- 需要你创建和/或指定队列的类或方法将在该队列上返回通知
- 除了这两个准则(还有一些例外,在参考文档中已有说明),你不应假定会在任何特定线程上返回通知
后续章节主要围绕上面内容展开:
- 待更新....
