该节是ffmpeg开发播放器学习笔记的开篇《Hello FFmpeg》
ffmpeg是一个跨平台的音视频录制、转换、编解码的库。使用C语言编写而成,可在主流移动与PC平台上使用。ffmpeg不仅提供可嵌入到App中的库,还提供了可以直接使用的工具。掌握必要的ffmpeg基础使用与基本的音视频信息对于端开发者还是很有必要的。本系列记录了学习ffmpeg开发播放器的过程,目前规划的小节并不是全部,随着学习的深入可能会有增加或者删除。
🔔第一节 - Hello FFmpeg
📗 第二节 - 软解视频流,渲染 RGB24
📗 第三节 - 认识YUV
📗 第四节 - 硬解码,OpenGL渲染YUV
📗 第五节 - Metal 渲染YUV
📗 第六节 - 解码音频,使用AudioQueue 播放
📗 第七节 - 音视频同步
📗 第八节 - 完善播放控制
📗 第九节 - 倍速播放
📗 第十节 - 增加视频过滤效果
📗 第十一节 - 音频变声
该节 Demo 地址: https://github.com/czqasngit/ffmpeg-player/releases/tag/Hello-FFmpeg
实例代码提供了Objective-C与Swift两种实现,为了方便说明,文章引用的是Objective-C代码,因为Swift代码指针看着不简洁。
目标
- 编译 ffmpeg,生成x86_64静态库
- 搭建 macOS+ffmpeg 开发环境
- 了解 ffmpeg 初始化流程
- 使用 ffmpeg 并打印音视频信息
编译 ffmpeg
1.下载
ffmpeg下载地址是 https://ffmpeg.org/download.html#get-sources,点击Download Source Code下载最新的源码。
下载完成后解压,然后进入到ffmpeg源码根目录。
2.配置编译参数
终端进入到ffmpeg源码目录,输入以下配置命令配置一个基础版本的编译参数
./configure --prefix=./macos --enable-gpl --enable-nonfree --enable-libfdk-aac
--prefix指定了编译产物的输出目录,这里指定输出到当前目录下的macos目录，提前创建好这个目录。
--enable-gpl允许使用GPL代码，生成的库和二进制文件将在GPL下
--enable-nofree允许使用非自由代码，生成的库和二进制文件将是不可分发的
--enable-libfdk-aac 使用libfdk-acc对ACC音频流进行编码或者解码
3.编译ffmpeg
使用以下命令编译并将产物输出到macos目录
make && make install
生成后的产物目录结构是这样的
bin: 可直接使用的工具ffmpeg与ffprobe
include: 集成ffmpeg库时的头文件
lib: 集成ffmpeg的静态库
share: 文档、实例程序等
4.编译libfdk-acc
由于启用了fdk-acc,需要单独编译libfdk-acc。
下载地址:http://www.linuxfromscratch.org/blfs/view/svn/multimedia/fdk-aac.html
配置编译参数,需要先创建macos目录
./configure --prefix=./macos --disable-static
make && make install
搭建 macOS+ffmpeg 开发环境
1.新建工程
新建macOS工程,并创建以下目录结构resources: 存放音频、视频等
vender: 存储ffmpeg静态库与头文件
FFmpegPlayer: Objective-C实现
FFmpegPlayer-Swift: Swift实现
2.设置头文件搜索目录
到此,编码前的准备工作就做好了👏👏👏。
了解 ffmpeg 初始化流程
在编码前,需要搞清楚ffmpeg的基本解码流程,下图大致描述了ffmpeg软解码的流程,接下来对每一步进行一个说明
1.打开文件/数据流
/// formatContet: AVFormatContext,保存了音视频文件信息
/// url: 需要打开的音视频文件地址
/// fmt: 指定打开的音视频文件的格式,如果不指定则自动推导
/// options: 设置AVFormatContext的options,它的默认值定义在:libavformat/options_table.h
/// 说明: AVFormatContext是一个AVClass,可以通过键值读取与设置定义的相关属性int ret = avformat_open_input(&formatContext, url, NULL, NULL);
2.找到音、视频流信息
/// formatContet: AVFormatContext,保存了音视频文件信息
/// options: 如果配置了,则流信息会被保存到里面,这里不需要保存输入NULL
ret = avformat_find_stream_info(formatContext, NULL);
这个函数会读取少量的数据包方便找到精确的音视频流信息,这些包会被缓存起来,解码的时候不会重复读取。
3.遍历流信息
从已经读取到的流信息中遍历查找到音频与视频的流信息
for(int i = 0; i < formatContext->nb_streams; i ++) {
AVStream *stream = formatContext->streams[i];
AVMediaType mediaType = stream->codecpar->codec_type;
if(mediaType == AVMEDIA_TYPE_VIDEO) {
_mediaVideo = [[FFMediaVideoContext alloc] initWithAVStream:stream formatContext:formatContext];
if(!_mediaVideo) goto fail;
} else if(mediaType == AVMEDIA_TYPE_AUDIO) {
_mediaAudio = [[FFMediaAudioContext alloc] initWithAVStream:stream formatContext:formatContext];
if(!_mediaAudio) goto fail;
}
}
4.初始化音视频解码器
从AVStream中可以读取到解码器的参数信息,这个结构体里包括了视频的宽高、FPS、视频长度等信息；如果是音频它包括了采样率、声道、音频数据包、音频格式等信息。
AVCodecParameters *codecParameters = stream->codecpar;
AVCodec定义了解码器的功能,首先找到解码对应流信息的解码器
AVCodec *codec = avcodec_find_decoder(codecParameters->codec_id);
找到解码器之后,需要实例化一个解码器上下文
AVCodecContext *codecContext = avcodec_alloc_context3(codec);
AVCodecContext持有AVCodec,在解码时还需要运行时的一 些参数,这些参数保存在AVCodecParameters中。AVCodecContext可以看作运行时的AVCodec, 使用之前还需要将参数填充到AVCodeContext中,后续的解码操作都使用AVCodecContext。
初始化完成之后还需要将流信息参数填充到AVCodecContext。
avcodec_parameters_to_context(codecContext, codecParameters);
解码器默认是关闭的,在解码使用前需要先打开
avcodec_open2(codecContext, codec, NULL);
到此,就完成了音视频解码器的初始化,这个是软解码的基本流程。
打印相关音视频信息
1.打印视频流信息
NSLog(@"=================== Video Information ===================");
NSLog(@"FPS: %f", av_q2d(stream->avg_frame_rate));
NSLog(@"Duration: %d Seconds", (int)(stream->duration * av_q2d(stream->time_base)));
NSLog(@"Size: (%d, %d)", self->codecContext->width, self->codecContext->height);
NSLog(@"Decodec: %s", self->codec->long_name);
NSLog(@"=========================================================");
这里需要注意在ffmpeg中经常使用到的一个结构体: AVRational。
它的定义很简单,如下:
typedef struct AVRational{ int num; ///< Numerator int den; ///< Denominator} AVRational;
分母与分子两个参数定义了一个值,使用这样一个结构可以很灵活的表达任意一个小数。
比如这里的在AVStream中的变量time_base,它直译出来就是时间基。
它表示将1秒分成11988,每一分代表0.000083416750083416754秒,而stream->duration的值表示基于这个time_base它总共有2490800份,将2490800 * 0.000083416750083416754就得到了这个视频总共有多少秒。
而av_q2d函数就是num/den。
2.打印音频信息
NSLog(@"=================== Audio Information ===================");
NSLog(@"Sample Rate: %d", codecContext->sample_rate);
NSLog(@"FMT: %d, %s", codecContext->sample_fmt, av_get_sample_fmt_name(codecContext->sample_fmt));
NSLog(@"Channels: %d", codecContext->channels);
NSLog(@"Channel Layout: %llu", codecContext->channel_layout);
NSLog(@"Decodec: %s", self->codec->long_name);
NSLog(@"=========================================================");
音频的这几个信息很重要,音频播放器初始化也需要用到这几个信息。
总结:
- 了解了ffmpeg的功能,它不仅可以单独使用现成的工具,还可以集成到App中使用其API
- 编译了ffmpeg并认识了编译产物
- 搭建了macOS+ffmpeg的开发环境
- 使用ffmpeg并打印了音视频流信息
如果你对文章感兴趣,还可以关注公众号: <<程序猿搬砖>>
