FFMpeg介绍
libavutil库是用于辅助可移植的多媒体编程的工具库。它包含了安全的可移植的string方法、随机数生成器、数据结构、math函数、加解密和多媒体相关的函数(例如pixel和sample格式的枚举)等。
libswscale库实现了高性能的图像缩放和颜色空间以及pixel format转换的功能。图像缩放和转换通常是一个有损的处理过程。
libswresample库可用于audio的重采样、转换通道数、以及转换采样精度。
libavcodec库提供了一个通用的框架用于实现不同音频、视频、字幕的编解码,同时也提供了一些bitstream filter。bitstream filter主要作用是修改编码数据,在不解码的情况下对数据进行bitstream级别的修改。如在解封装取出的H264码流中增加SPS和PPS时会用到h264_mp4toannexb filter。
libavformat库提供了通用的框架来实现不同的容器格式的封装和解封装操作,也提供了多种input和output的URL Protocol用于访问媒体源(media source),比如FTP、HTTP以及RTMP协议。
libavdevice库提供了一个通用框架来实现不同多媒体input和output设备的访问,包括V4L2、VFW、DShow和ALSA设备等。在android平台通过NDK Camera的接口的调用实现了对android camera的访问。
libavfilter提供了一个通用框架来实现audio和video的原始数据filter处理,如对视频添加叠加Logo图片或者时间文字等信息、对视频进行裁剪和翻转。
AVFilter介绍
ffmpeg中有很多已经实现好的滤波器,这些滤波器的实现位于libavfilter目录之下,用户需要进行滤波时,就是是调用这些滤波器来实现的。ffmpeg对于调用滤波器有一整套的调用机制。
图中简要指示出了滤波所用到的各个结构体,各个结构体有下作用:
AVFilter命令的使用
Filtergraph将input stream通过split stream分离出两路流,一路命名main,一路命名tmp,tmp stream通过crop filter和vfilp filter处理后,和main stream通过overlay filter合并。你可以使用如下名来实现:
ffmpeg -i INPUT -vf "split [main][tmp]; [tmp] crop=iw:ih/2:0:0, vflip [flip]; [main][flip] overlay=0:H/2" OUTPUT
执行的结果就是输出视频的上半部分和下半部分呈镜像。
在同一条链条的filter使用逗号隔开,不同链条的filter使用分号隔开。在我们的例子中,crop、vfilp在同一个链条中,split和overlay是不同的两条链条。points部分是使用方括号将名字括起来表示的,在例子中[main] 和[tmp]是split filter生成的两个outputs。
Filter参数使用等于号来赋值,不同的参数使用冒号分隔开,例如crop=iw:ih/2:0:0
ffmpeg -i Desktop\09.ts -vf "split [main][tmp]; [tmp] crop=iw:ih/2:0:0, vflip [flip];[main] drawtext=text=This is FF:fontsize=55 [main1]; [main1][flip] overlay=0:H/2" Desktop\09dst.ts -v verbose
drawtext参数的格式和其他filter不一致,使用了如text=This is FF这样的键值对。
filter命令行提供了两种参数格式,
1.按照option顺序填参
2.按照optionname,通过键值对方式提供
ffmpeg -h filter=drawtext
提供了filter参数的说明,也可以直接参考源码,位于vf_drawtext.c