音视频流媒体开发-目录

01-Windows FFMPEG命令行环境搭建

搭建步骤
◼ 1. 到ffmpeg官方下载已经编译好的Windows shared库;
◼ 2. 将执行文件ffmpeg.exe ffplay.exe ffprobe.exe 拷贝到C:\Windows目录;
◼ 3. 将相应的动态库拷贝到 C:\Windows\SysWOW64目录;

注:WOW64 (Windows-on-Windows 64-bit)

◼ 4. 在命令行窗口输入ffmpeg -version 查看版本， 以却确定环境是否搭建成功。

02-FFMPEG如何查询命令 帮助文档

ffmpeg/ffplay/ffprobe区别

◼ffmpeg:
Hyper fast Audio and Video encoder 超快音视频编码器(类似爱剪辑)
◼ffplay:
Simple media player简单媒体播放器
◼ffprobe:
Simple multimedia streams analyzer 简单多媒体流分析器

ffmpeg命令查看帮助文档

• 基本信息:ffmpeg -h
• 高级信息:ffmpeg -h long
• 所有信息:ffmpeg -h full
  • 若嫌打印过多: ffmpeg -h full > ffmpeg_h_full.log，然后打开ffmpeg_h_full.log文件查看

• usage:
  ffmpeg [options] [[infile options] -i infile]... {[outfile options] outfile}...

• 所有信息:ffplay -h

• usage:
  ffplay [options] input_file

• 所有信息:ffprobe -h

• usage:
  ffprobe [OPTIONS] [INPUT_FILE]

• ffmpeg/ffplay/ffprobe部分参数通用，部分参数不通用，在使用时需要注意。

ffmpeg -h > ffmpeg_h.log
ffmpeg -h long > ffmpeg_h_long.log
ffmpeg -h full > ffmpeg_h_full.log

alange@alan16 01-FFmpeg命令行入门 % ffmpeg -h > ffmpet_h.log

alange@alan16 01-FFmpeg命令行入门 % ffmpeg -h long > ffmpet_h_long.log

alange@alan16 01-FFmpeg命令行入门 % ffmpeg -h full > ffmpet_h_full.log

alange@alan16 01-FFmpeg命令行入门 % ffplay -h > ffplay_h.log

alange@alan16 01-FFmpeg命令行入门 % ffprobe -h > ffprobe_h.log

问题1：ffmpeg -h full | findstr 264 不成功，Mac对应的命令是什么

Win：ffmpeg -h full | findstr 264
Mac：ffmpeg -h full | grep 264

过滤
Win：findstr
Mac：grep

03-ffmpeg音视频处理流程

先看两条命令

ffmpeg -i test_1920x1080.mp4 -acodec copy -vcodec libx264 -s 1280x720 test_1280x720.flv

ffmpeg -i test_1920x1080.mp4 -acodec copy -vcodec libx265 -s 1280x720 test_1280x720.mkv

ffmpeg音视频处理流程

04-ffmpeg命令分类查询

ffmpeg命令分类查询

ffmpeg -version

ffmpeg -buildconf

ffmpeg -formats

ffmpeg -formats | more // 分页，分页的时候，按Q推出
ffmpeg -formats | grep flv // mac
ffmpeg -formats | findstr flv // win

ffmpeg -muxers

ffmpeg -muxers | grep flv

ffmpeg -demuxers

ffmpeg -demuxers | grep flv

ffmpeg -devices

ffmpeg -codecs

ffmpeg -codecs | grep 264  // mac
ffmpeg -codecs | findstr 264 // win

ffmpeg -decoders

ffmpeg -encoders

ffmpeg -encoders | grep 264

ffmpeg -bsfs

ffmpeg -protocols

ffmpeg -filters

ffmpeg -pix_fmts

ffmpeg -layouts

ffmpeg -sample_fmts

ffmpeg -colors

查看具体分类所支持的参数

语法:ffmepg -h type=name

比如:
ffmpeg -h muxer=flv
ffmpeg -h filter=atempo (atempo调整音频播放速率)
ffmpeg -h encoder=libx264

05-ffplay播放控制

ffplay播放控制

ffplay test_1280x720.mp4

ffplay -volume 2 test_1280x720.mp4

-volume 2：设置起始音量

ffplay -volume 5 test-av/mult.ts

06-ffplay命令选项

ffplay命令-主要选项

选项 说明
◼ -x width 强制显示宽带。
◼ -y height 强制显示高度。

ffplay -volume 1 -x 800 -y 480 test_1920x1080.mp4

◼ -video_size size 帧尺寸设置显示帧存储(WxH格式)，仅适用于类似 原始YUV等没有包含帧大小(WxH)的视频。

比如: ffplay -pixel_format yuv420p -video_size 320x240 -framerate 5 yuv420p_320x240.yuv

◼ -pixel_format format 格式设置像素格式。
◼ -fs 以全屏模式启动
◼ -an 禁用音频（不播放声音）
◼ -vn 禁用视频（不播放视频）
◼ -sn 禁用字幕（不显示字幕）
◼ -ss pos 根据设置的秒进行定位拖动，注意时间单位:

比如'55' 55 seconds, '12:03:45' ,12 hours, 03 minutes and 45 seconds, '23.189' 23.189 second

从355秒开始
ffplay -volume 3 -ss 355 test_1280x720.mp4
ffplay -volume 3 -ss 00:05:55 test_1280x720.mp4

◼ -t duration 设置播放视频/音频长度，时间单位如 -ss选项

ffplay -volume 3 -t 10 test_1280x720.mp4 // 播放10秒
ffplay -volume 3 -t 00:00:05 test_1280x720.mp4

◼ -bytes 按字节进行定位拖动(0=off 1=on -1=auto)。

ffplay -volume 5 -bytes 1 v-out2.flv
ffplay -volume 5 -bytes 0 v-out2.flv

◼ -seek_interval interval 自定义左/右键定位拖动间隔(以秒为单位)，默认值为10秒(代码没有看到实现)
◼ -nodisp 关闭图形化显示窗口，视频将不显示
◼ -noborder 无边框窗口
◼ -volume vol 设置起始音量。音量范围[0 ~100]

ffplay -volume 1 test_1920x1080.mp4

◼ -f fmt 强制使用设置的格式进行解析。比如-f s16le
◼ -window_title title 设置窗口标题(默认为输入文件名)

ffplay -volume 5 -window_title 音视频学习 -x 800 -y 480 test_1920x1080.mp4

◼ -loop number 设置播放循环次数

ffplay -volume 1 -t 5 -loop 2 test_1920x1080.mp4

◼ -showmode mode 设置显示模式，可用的模式值：0 显示视频， 1 显示音频波形，2 显示音频频谱。缺省为0，如果视频不存在则自动 选择2
◼ -vf filtergraph 设置视频滤镜
◼ -af filtergraph 设置音频滤镜
◼ -stats 打印多个回放统计信息，包括显示流持续时间，编解码器参数， 流中的当前位置，以及音频/视频同步差值。默认情况下处于启用状 态，要显式禁用它则需要指定-nostats。

ffplay -volume 1 -stats test_1920x1080.mp4
ffplay -volume 1 -nostats test_1920x1080.mp4

◼ -fast 非标准化规范的多媒体兼容优化。
◼ -genpts 生成pts。
◼ -sync type 同步类型将主时钟设置为audio(type=audio)，video (type=video)或external(type=ext)，默认是audio为主时钟。
◼ -ast audio_stream_specifier 指定音频流索引，比如-ast 3，播放流索引为3的音频流
◼ -vst video_stream_specifier指定视频流索引，比如-vst 4，播放流索引 为4的视频流
◼ -sst subtitle_stream_specifier 指定字幕流索引，比如-sst 5，播放流索 引为5的字幕流
◼ -autoexit 视频播放完毕后退出。

ffplay -volume 1 -t 5 -autoexit mult.ts

◼ -exitonkeydown 键盘按下任何键退出播放
◼ -exitonmousedown 鼠标按下任何键退出播放
◼ -codec:media_specifier codec_name 强制使用设置的多媒体解码器， media_specifier可用值为a(音频)， v(视频)和s字幕。比如- codec:v h264_qsv 强制视频采用h264_qsv解码

ffplay -codec:v h264 hks2.flv
ffplay -codec:v h264_qsv hks2.flv

◼ -acodec codec_name 强制使用设置的音频解码器进行音频解码

ffplay -acodec h264 hks2.flv
ffplay -acodec h264_qsv hks2.flv

◼ -vcodec codec_name 强制使用设置的视频解码器进行视频解码
◼ -scodec codec_name 强制使用设置的字幕解码器进行字幕解码
◼ -autorotate 根据文件元数据自动旋转视频。值为0或1 ，默认为1。
◼ -framedrop 如果视频不同步则丢弃视频帧。当主时钟非视频时钟时 默认开启。若需禁用则使用 -noframedrop
◼ -infbuf 不限制输入缓冲区大小。尽可能快地从输入中读取尽可能多的数据。
播放实时流时默认启用，如果未及时读取数据，则可能会丢弃数据。此选项 将不限制缓冲区的大小。若需禁用则使用-noinfbuf

ffplay命令更多选项

更多参考:http://www.ffmpeg.org/ffplay.html

07-ffplay命令播放媒体

◼ 播放本地文件

ffplay -window_title "test time" -ss 2 -t 10 -autoexit test.mp4 
ffplay buweishui.mp3

◼ 播放网络流

ffplay -window_title "rtmp stream” rtmp://202.69.69.180:443/webcast/bshdlive-pc

◼ 强制解码器

mpeg4解码器:ffplay -vcodec mpeg4 test.mp4 
h264解码器:ffplay -vcodec h264 test.mp4

◼ 禁用音频或视频

禁用音频:ffplay test.mp4 -an 
禁用视频:ffplay test.mp4 -vn

◼ 播放YUV数据

ffplay -pixel_format yuv420p -video_size 320x240 -framerate 5 yuv420p_320x240.yuv

◼ 播放RGB数据

ffplay -pixel_format rgb24 -video_size 320x240 -i rgb24_320x240.rgb
ffplay -pixel_format rgb24 -video_size 320x240 -framerate 5 -i rgb24_320x240.rgb

◼ 播放PCM数据

ffplay -ar 48000 -ac 2 -f f32le 48000_2_f32le.pcm

-ar set audio sampling rate (in Hz) (from 0 to INT_MAX) (default 0) 
-ac set number of audio channels (from 0 to INT_MAX) (default 0)

08-ffplay简单过滤器

◼ 视频旋转

ffplay -i test.mp4 -vf transpose=1

◼ 视频反转

ffplay test.mp4 -vf hflip 
ffplay test.mp4 -vf vflip

◼ 视频旋转和反转

ffplay test.mp4 -vf hflip,transpose=1

◼ 音频变速播放

ffplay -i test.mp4 -af atempo=2

◼ 视频变速播放

ffplay -i test.mp4 -vf setpts=PTS/2

◼ 音视频同时变速

ffplay -i test.mp4 -vf setpts=PTS/2 -af atempo=2

◼ 更多参考 http://www.ffmpeg.org/ffmpeg-filters.html

09-ffmpeg命令参数说明

◼ 主要参数:

◼ -i 设定输入流
◼ -f 设定输出格式(format) 
◼ -ss 开始时间
◼ -t 时间长度

// 输出为flv格式
ffmpeg -i test.mp4 -codec copy -ss 10 -t 20 -f flv out.mp4
// 输出为mp4格式
ffmpeg -i test.mp4 -codec copy -ss 10 -t 20 out.mp4

◼ 音频参数:

◼ -aframes 设置要输出的音频帧数
◼ -b:a 音频码率
◼ -ar 设定采样率
◼ -ac 设定声音的Channel数
◼ -acodec 设定声音编解码器，如 果用copy表示原始编解码数据必 须被拷贝。
◼ -an 不处理音频
◼ -af 音频过滤器

// 查看mp3的全称
Mac：ffmpeg -encoders | grep mp3
Win：ffmpeg -encoders | findstr mp3

ffmpeg -i test.mp4 -b:a 192k -ar 48000 -ac 2 -acodec libmp3lame -aframes 200 out2.mp3

◼ 视频参数:

◼ -vframes 设置要输出的视频帧数
◼ -b 设定视频码率
◼ -b:v 视频码率
◼ -r 设定帧速率
◼ -s 设定画面的宽与高
◼ -vn 不处理视频
◼ -aspect aspect 设置横纵比 4:3 16:9 或 1.3333 1.7777
◼ -vcodec 设定视频编解码器，如 果用copy表示原始编解码数据必 须被拷贝。
◼ -vf 视频过滤器

ffmpeg -i test.mp4 -vframes 300 -b:v 300k -r 30 -s 640x480 -aspect 16:9 -vcodec libx265 out.h265

播放：ffplay out.h265

更多参考: http://www.ffmpeg.org/ffmpeg.html

10-ffmpeg命令提取音视频数据

◼ 保留封装格式

ffmpeg -i test.mp4 -acodec copy -vn t_audio.mp4
ffmpeg -i test.mp4 -vcodec copy -an t_video.mp4

◼ 提取视频

保留编码格式: ffmpeg -i test.mp4 -vcodec copy -an t_test_copy.h264
强制格式: ffmpeg -i test.mp4 -vcodec libx264 -an t_test.h264

◼ 提取音频

保留编码格式: ffmpeg -i test.mp4 -acodec copy -vn t_test.aac
强制格式: ffmpeg -i test.mp4 -acodec libmp3lame -vn t_test.mp3

11-ffmpeg命令提取像素格式和PCM数据

◼ 提取YUV

◼ 提取3秒数据，分辨率和源视频一致
ffmpeg -i test_1280x720.mp4 -t 3 -pix_fmt yuv420p yuv420p_orig.yuv

播放：
ffplay -pixel_format yuv420p -video_size 320x240 yuv420p_orig.yuv

◼ 提取3秒数据，分辨率转为320x240
ffmpeg -i test_1280x720.mp4 -t 3 -pix_fmt yuv420p -s 320x240 yuv420p_320x240.yuv

播放：
ffplay -pixel_format yuv420p -video_size 320x240 yuv420p_320x240.yuv

◼ 提取RGB

◼ 提取3秒数据，分辨率转为320x240
ffmpeg -i test.mp4 -t 3 -pix_fmt rgb24 -s 320x240 rgb24_320x240.rgb

播放：
ffplay -pixel_format rgb24 -video_size 320x240 -i rgb24_320x240.rgb

◼ RGB和YUV之间的转换

ffmpeg -s 320x240 -pix_fmt yuv420p -i yuv420p_320x240.yuv -pix_fmt rgb24 rgb24_320x240_2.rgb

◼ 提取PCM

1.ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -f s16le 48000_2_s16le.pcm
播放： ffplay -ar 48000 -ac 2 -f f16le 48000_2_s16le.pcm

2.ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -sample_fmt s16 out_s16.wav

3.ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -codec:a pcm_s16le out2_s16le.wav

4.ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -f f32le 48000_2_f32le.pcm

// 从MP4获取音频
5.ffmpeg -i test.mp4 -t 10 -vn -ar 48000 -ac 2 -f f32le 48000_2_f32le_2.pcm
播放：ffplay -ar 48000 -ac 2 -f f32le out_48000_2_f32le_2.pcm

查全称：
ffmpeg -muxers | findstr PCM
ffmpeg -muxers | grep PCM
ffmpeg -muxers | findstr s16
ffmpeg -muxers | grep s16
ffmpeg -encoders | grep pcm

播放pcm：
ffplay -ar 48000 -ac 2 -f f32le out_48000_2_s16le.pcm

12-ffmpeg命令转封装

◼ 保持编码格式:

ffmpeg -i test.mp4 -vcodec copy -acodec copy test_copy.ts 
ffmpeg -i test.mp4 -codec copy test_copy2.ts

ffplay test_copy.ts
ffplay test_copy2.ts

◼ 改变编码格式:

ffmpeg -i test.mp4 -vcodec libx265 -acodec libmp3lame out_h265_mp3.mkv

◼ 修改帧率:

ffmpeg -i test.mp4 -r 15 -codec copy output.mp4 (错误命令) 
ffmpeg -i test.mp4 -r 15 output2.mp4

◼ 修改视频码率:

ffmpeg -i test.mp4 -b 400k output_b.mkv (此时音频也被重新编码)

◼ 修改视频码率:

ffmpeg -i test.mp4 -b:v 400k output_bv.mkv

◼ 修改音频码率:

ffmpeg -i test.mp4 -b:a 192k output_ba.mp4 
ffmpeg -i test.mp4 -b:a 192k -vcodec copy output_ba.mp4

如果不想重新编码video，需要加上-vcodec copy，最好加上

◼ 修改音视频码率:

ffmpeg -i test.mp4 -b:v 400k -b:a 192k output_bva.mp4

◼ 修改视频分辨率:

ffmpeg -i test.mp4 -s 480x270 output_480x270.mp4

◼ 修改音频采样率:

ffmpeg -i test.mp4 -ar 44100 output_44100hz.mp4

13-fmpeg命令裁剪和合并视频

生成测试文件

◼ 找三个不同的视频每个视频截取10秒内容

ffmpeg -i 沙海02.mp4 -ss 00:05:00 -t 10 -codec copy 1.mp4 
ffmpeg -i 复仇者联盟3.mp4 -ss 00:05:00 -t 10 -codec copy 2.mp4 
ffmpeg -i 红海行动.mp4 -ss 00:05:00 -t 10 -codec copy 3.mp4

如果音视频格式不统一则强制统一为 -vcodec libx264 -acodec aac

◼ 将上述1.mp4/2.mp4/3.mp4转成ts格式

ffmpeg -i 1.mp4 -codec copy -vbsf h264_mp4toannexb 1.ts 
ffmpeg -i 2.mp4 -codec copy -vbsf h264_mp4toannexb 2.ts 
ffmpeg -i 3.mp4 -codec copy -vbsf h264_mp4toannexb 3.ts

◼ 转成flv格式

ffmpeg -i 1.mp4 -codec copy 1.flv
ffmpeg -i 2.mp4 -codec copy 2.flv
ffmpeg -i 3.mp4 -codec copy 3.flv 

分离某些封装格式(例如MP4/FLV/MKV等)中的H.264的时候，需要首先写入 SPS和PPS，否则会导致分离出来的数据没有SPS、PPS而无法播放。H.264码流 的SPS和PPS信息存储在AVCodecContext结构体的extradata中。需要使用ffmpeg 中名称为“h264_mp4toannexb”的bitstream filter处理

开始拼接文件

◼ 以MP4格式进行拼接

方法1:ffmpeg -i "concat:1.mp4|2.mp4|3.mp4" -codec copy out_mp4.mp4(不行) 
方法2:ffmpeg -f concat -i mp4list.txt -codec copy out_mp42.mp4(声音和视频不同步)

ffplay out_mp4.mp4
ffplay out_mp42.mp4

◼ 以TS格式进行拼接(两种方法都可以)

方法1:ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out_ts.mp4 

方法2:ffmpeg -f concat -i tslist.txt -codec copy out_ts2.mp4

ffplay out_ts.mp4 

ffplay out_ts2.mp4 

◼ 以FLV格式进行拼接

方法1:ffmpeg -i "concat:1.flv|2.flv|3.flv" -codec copy out_flv.mp4(不正常) 

方法2:ffmpeg -f concat -i flvlist.txt -codec copy out_flv2.mp4(正常)

ffplay out_flv.mp4

ffplay out_flv2.mp4

◼ 方法1只适用部分封装格式，比如TS

◼ 建议:
(1)使用方法2进行拼接
(2)转成TS格式再进行拼接

测试不同编码拼接

◼ 1.修改音频编码

ffmpeg -i 2.mp4 -vcodec copy -acodec ac3 -vbsf h264_mp4toannexb 2.ts ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out1.mp4 结果第二段没有声音 

◼ 2.修改音频采样率

ffmpeg -i 2.mp4 -vcodec copy -acodec aac -ar 96000 -vbsf h264_mp4toannexb 2.ts
ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out2.mp4 第二段播放异常

◼ 3.修改视频编码格式

ffmpeg -i 1.mp4 -acodec copy -vcodec libx265 1.ts
ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out3.mp4

◼ 4.修改视频分辨率

ffmpeg -i 1.mp4 -acodec copy -vcodec libx264 -s 800x472 -vbsf h264_mp4toannexb 1.ts ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out4.mp4

◼ 注意:

◼ 把每个视频封装格式也统一为ts，拼接输出的时候再输出你需要的封装格式，比如MP4
◼ 视频分辨率可以不同，但是编码格式需要统一
◼ 音频编码格式需要统一，音频参数(采样率/声道等)也需要统一

14-fmpeg命令图片与视频互转

1.fmpeg命令图片和视频转换

◼ 截取一张图片

ffmpeg -i test.mp4 -y -f image2 -ss 00:00:02 -vframes 1 -s 640x360 test.jpg 
ffmpeg -i test.mp4 -y -f image2 -ss 00:00:02 -vframes 1 -s 640x360 test.bmp 

查看：ffplay test.bmp
-i 输入
-y 覆盖
-f 格式
image2 一种格式
-ss 起始值
-vframes帧如果大于1那么输出加%03d test%03d.jpg
-s 格式大小size

◼ 转换视频为图片(每帧一张图):

ffmpeg -i test.mp4 -t 5 -s 640x360 -r 15 frame%03d.jpg

◼ 图片转换为视频:

ffmpeg -f image2 -i frame%03d.jpg -r 25 video.mp4

2.fmpeg命令GIF和视频转换

◼ 从视频中生成GIF图片

ffmpeg -i test.mp4 -t 5 -r 1 image1.gif
ffmpeg -i test.mp4 -t 5 -r 25 -s 640x360 image2.gif

◼将GIF转化为视频

ffmpeg -f gif -i image2.gif image2.mp4

15-ffmpeg命令视频录制(Windows)

◼ 先安装dshow软件 Screen Capturer Recorder

项目地址:https://sourceforge.net/projects/screencapturer/files/

然后查看可用设备名字:ffmpeg -list_devices true -f dshow -i dummy

[dshow @ 0509d6c0] DirectShow video devices (some may be both video and audio devices)
[dshow @ 0509d6c0] "Integrated Webcam" //笔记本摄像头
[dshow @ 0509d6c0] Alternative name "@device_pnp_\\?\usb#vid_0bda&pid_5689&mi_00#6&233dd6c7&0&0000#{65e8773d-8f56-11 d0-a3b9-00a0c9223196}\global"
[dshow @ 0509d6c0] "e2eSoft VCam"
[dshow @ 0509d6c0] Alternative name "@device_sw_{860BB310-5D01-11D0-BD3B-00A0C911CE86}\e2eSoft VCam"
[dshow @ 0509d6c0] "screen-capture-recorder"
[dshow @ 0509d6c0] Alternative name "@device_sw_{860BB310-5D01-11D0-BD3B- 00A0C911CE86}\{4EA6930A-2C8A-4AE6-A561-56E4B5044439}"
[dshow @ 0509d6c0] DirectShow audio devices
[dshow @ 0509d6c0] "楹〉厠椋?(Realtek Audio)"
[dshow @ 0509d6c0] Alternative name "@device_cm_{33D9A762-90C8-11D0-BD43-00A0C911CE86}\wave_{8B8892E5-D3E5-47EC-8B5E-CEEBF54014E7}"
[dshow @ 0509d6c0] "virtual-audio-capturer"
[dshow @ 0509d6c0] Alternative name "@device_sw_{33D9A762-90C8-11D0-BD43- 00A0C911CE86}\{8E14549B-DB61-4309-AFA1-3578E927E935}"
dummy: Immediate exit requested

音视频录制

◼ 录制视频(默认参数)

桌面:ffmpeg -f dshow -i video="screen-capture-recorder" v-out.mp4
摄像头: ffmpeg -f dshow -i video="Integrated Webcam" -y v-out2.flv (要根据自 己摄像头名称)

◼ 录制声音(默认参数)

系统声音:ffmpeg -f dshow -i audio="virtual-audio-capturer" a-out.aac
系统+麦克风声音:ffmpeg -f dshow -i audio="麦克风 (Realtek Audio)" -f dshow -i audio="virtual-audio-capturer" -filter_complex amix=inputs=2:duration=first:dropout_transition=2 a-out2.aac

◼ 同时录制声音和视频(默认参数)

ffmpeg -f dshow -i audio="麦克风 (Realtek Audio)" -f dshow -i audio="virtual- audio-capturer" -filter_complex amix=inputs=2:duration=first:dropout_transition=2 -f dshow -i video="screen-capture-recorder" -y av-out.flv

control+c：退出录制

查看视频录制的可选参数

◼ 查看视频录制的可选参数

◼ ffmpeg -f dshow -list_options true -i video="screen-capture-recorder"

[dshow @ 02f0d6c0] DirectShow video device options (from video devices)
[dshow @ 02f0d6c0] Pin "Capture" (alternative pin name "1")
[dshow @ 02f0d6c0] pixel_format=bgr0 min s=1x1 fps=0.02 max s=1920x1080 fps=30  
[dshow @ 02f0d6c0] pixel_format=bgr0 min s=1x1 fps=0.02 max s=1920x1080 fps=30  
[dshow @ 02f0d6c0] pixel_format=bgr24 min s=1x1 fps=0.02 max s=1920x1080 fps=30  
[dshow @ 02f0d6c0] pixel_format=rgb555le min s=1x1 fps=0.02 max s=1920x1080 fps=30
[dshow @ 02f0d6c0] pixel_format=rgb555le min s=1x1 fps=0.02 max s=1920x1080 fps=30
[dshow @ 02f0d6c0] pixel_format=rgb8 min s=1x1 fps=0.02 max s=1920x1080 fps=30
[dshow @ 02f0d6c0] pixel_format=yuv420p min s=1x1 fps=0.02 max s=1920x1080 fps=30

查看音频设备可选参数

◼ 查看视频录制的可选参数

◼ ffmpeg -f dshow -list_options true -i audio="virtual-audio-capturer“

[dshow @ 05a2d6c0] DirectShow audio only device options (from audio devices) 
[dshow @ 05a2d6c0] Pin "Capture Virtual Audio Pin" (alternative pin name "1”) 
[dshow @ 05a2d6c0] min ch=2 bits=16 rate= 48000 max ch=2 bits=16 rate= 48000

◼ ffmpeg -f dshow -list_options true -i audio="麦克风 (Realtek Audio)"

指定参数录制音视频

◼ ffmpeg -f dshow -i audio="麦克风 (Realtek Audio)" -f dshow -i audio="virtual-audio-capturer" -filter_complex amix=inputs=2:duration=first:dropout_transition=2 -f dshow -video_size 1920x1080 -framerate 15 -pixel_format yuv420p -i video="screen-capture- recorder" -vcodec h264_qsv -b:v 3M -y av-out.flv

CPU占有率会下降很多

◼ ffmpeg -f dshow -i audio="麦克风 (Realtek Audio)" -f dshow -i audio="virtual-audio-capturer" -filter_complex amix=inputs=2:duration=first:dropout_transition=2 -f dshow -i video="screen-capture-recorder" -vcodec h264_qsv -b:v 3M -r 15 -y av- out2.mp4

CPU占有率会升一点

◼ ffmpeg -f dshow -i audio="麦克风 (Realtek Audio)" -f dshow -i audio="virtual-audio-capturer" -filter_complex amix=inputs=2:duration=first:dropout_transition=2 -f dshow -framerate 15 -pixel_format yuv420p -i video="screen-capture-recorder" -vcodec h264_qsv -b:v 3M -r 15 -y av-out3.mp4

16-ffmpeg命令直播

ffmpeg拉流

◼ 直播拉流

ffplay rtmp://server/live/streamName

ffmpeg -i rtmp://server/live/streamName -c copy dump.flv 

对于不是rtmp的协议 -c copy要谨慎使用

◼ 可用地址

HKS:rtmp://live.[hkstv.hk.lxdns.com/live/hks2](http://hkstv.hk.lxdns.com/live/hks2)

大熊兔(点播):rtsp://184.72.239.149/vod/mp4://BigBuckBunny_175k.mov

CCTV1高清:http://ivi.[bupt.edu.cn/hls/cctv1hd.m3u8](http://bupt.edu.cn/hls/cctv1hd.m3u8)

ffmpeg -i http://ivi.[bupt.edu.cn/hls/cctv1hd.m3u8](http://bupt.edu.cn/hls/cctv1hd.m3u8) -c copy cctv1.ts

ffmpeg -i http://ivi.[bupt.edu.cn/hls/cctv1hd.m3u8](http://bupt.edu.cn/hls/cctv1hd.m3u8) cctv1.flv

ffmpeg -i http://ivi.[bupt.edu.cn/hls/cctv1hd.m3u8](http://bupt.edu.cn/hls/cctv1hd.m3u8) -acodec aac -vcodec libx264 cctv1-2.flv

CCTV3高清:http://ivi.[bupt.edu.cn/hls/cctv3hd.m3u8](http://bupt.edu.cn/hls/cctv3hd.m3u8)

CCTV5高清:http://ivi.[bupt.edu.cn/hls/cctv5hd.m3u8](http://bupt.edu.cn/hls/cctv5hd.m3u8)

CCTV5+高清:http://ivi.[bupt.edu.cn/hls/cctv5phd.m3u8](http://bupt.edu.cn/hls/cctv5phd.m3u8)

CCTV6高清:http://ivi.[bupt.edu.cn/hls/cctv6hd.m3u8](http://bupt.edu.cn/hls/cctv6hd.m3u8)

ffmpeg推流

◼ 直播推流

ffmpeg -re -i out.mp4 -c copy flv rtmp://server/live/streamName -re,表示按时间戳读取文件

参考:Nginx搭建rtmp流媒体服务器(Ubuntu 16.04) ：http://jianshu.com/p/16741e363a77

18-22.ffmpeg过滤器

1.1 filter 的分类

按照处理数据的类型，通常多媒体的 filter 分为:

• 音频filter
• 视频filter
• 字幕filter

另一种按照处于编解码器的位置划分:

• prefilters: used before encoding
• intrafilters: used while encoding (and are thus an integral part of a video codec)
• postfilters: used after decoding

FFmpeg 中 filter 分为:

• source filter (只有输出)
• audio filter
• video filter
• Multimedia filter
• sink filter (只有输入)

除了 source 和 sink filter，其他 filter 都至少有一个输入、至少一个输出。

1.2 视频裁剪

视频过滤器(滤镜):裁剪

ow 的值可以从 oh 得到，反之亦然，但不能从 x 和 y 中得到，因为这些值是在 ow 和 oh 之后进行的。x 的 值可以从 y 的值中得到，反之亦然。例如，在输入框的左三、中三和右三，我们可以使用命令:

g

图片：
裁左边三分之一：高一样，宽为三分之一，x=0，y=0
裁剪：ffmpeg -i input.jpg -vf crop=iw/3:ih:0:0 out.jpg
看效果：ffplay -i input.jpg -vf crop=iw/3:ih:0:0

裁中间三分之一：高一样，宽为三分之一，x=0，y=0
裁剪：ffmpeg -i input.jpg -vf crop=iw/3:ih:iw/3*1:0 out.jpg
看效果：ffplay -i input.jpg -vf crop=iw/3:ih:iw/3*1:0

裁右边三分之一：高一样，宽为三分之一，x=0，y=0
裁剪：ffmpeg -i input.jpg -vf crop=iw/3:ih:iw/3*2:0 out.jpg
看效果：ffplay -i input.jpg -vf crop=iw/3:ih:iw/3*2:0

视频：
裁左边三分之一：高一样，宽为三分之一，x=0，y=0
裁剪：ffmpeg -i input.mp4 -vf crop=iw/3:ih:0:0 out.jpg
看效果：ffplay -i input.mp4 -vf crop=iw/3:ih:0:0

练习题:

(1)裁剪 100x100 的区域，起点为(12,34). 
crop=100:100:12:34
相同效果:
crop=w=100:h=100:x=12:y=34

(2)裁剪中心区域，大小为 100x100 
crop=100:100

(3)裁剪中心区域，大小为输入视频的 2/3 
crop=2/3*in_w:2/3*in_h

(4)裁剪中心区域的正方形，高度为输入视频的高 
crop=out_w=in_h
crop=in_h

(5)裁剪偏移左上角 100 像素 
crop=in_w-100:in_h-100:100:100

(6)裁剪掉左右 10 像素，上下 20 像素 
crop=in_w-2*10:in_h-2*20

(7)裁剪右下角区域 
crop=in_w/2:in_h/2:in_w/2:in_h/2

1.3 FFmpeg 滤镜 Filter 内置变量

在使用 Filter 时，经常会用到根据时间轴进行操作的需求，在使用 FFmpeg 的 Filter 时可以使用 Filter 的时 间相关的内置变量，下面先来了解一下这些相关的变量，见下表。

1.4 添加水印

1.4.1 文字水印

在视频中增加文字水印需要准备的条件比较多，需要有文字字库处理的相关文件，在编译 FFmpeg 时需要 支持 FreeType、FontConfig、iconv，系统中需要有相关的字库，在 FFmpeg 中增加纯字母水印可以使用 drawtext 滤镜进行支持，下面就来看一下 drawtext 的滤镜参数，具体见表 1-4。

举例

(1)将文字的水印加在视频的左上角:

ffplay -i input.mp4 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='hello world':x=20:y=20"

将字体的颜色设置为绿色:
ffplay -i input.mp4 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='hello world':fontcolor=green"

如果想调整文字水印显示的位置，调整 x 与 y 参数的数值即可。
ffplay -i input.mp4 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='hello world':fontcolor=green:x=400:y=200"

修改透明度
ffplay -i input.mp4 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='hello world':fontcolor=green:x=400:y=200:alpha=0.3"

(2)文字水印还可以增加一个框，然后给框加上背景颜色:

ffplay -i input.mp4 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='hello world':fontcolor=green:box=1:boxcolor=yellow"

至此，文字水印的基础功能已经添加完成。

(3)有些时候文字水印希望以本地时间作为水印内容，可以在 drawtext 滤镜中配合一些特殊用法来 完成，在 text 中显示本地当前时间，格式为年月日时分秒的方式，

ffplay -i input.mp4 -vf "drawtext=fontsize=60:fontfile=FreeSerif.ttf:text='%{localtime\:%Y\-%m\-%d %H-%M-%S}':fontcolor=green:box=1:boxcolor=yellow"

在使用 ffmpeg 转码存储到文件时需要加上-re，否则时间不对。
ffmpeg -re -i input.mp4 -vf "drawtext=fontsize=60:fontfile=FreeSerif.ttf:text='%{localtime\:%Y\-%m\-%d %H-%M-%S}':fontcolor=green:box=1:boxcolor=yellow" out.mp4

(4)在个别场景中，需要定时显示水印，定时不显示水印，这种方式同样可以配合 drawtext 滤镜进 行处理，使用 drawtext 与 enable 配合即可，例如每 3 秒钟显示一次文字水印:

ffplay -i input.mp4 -vf "drawtext=fontsize=60:fontfile=FreeSerif.ttf:text='test':fontcolor=green:box=1:boxcolor=yellow:enable=lt( mod(t\,3)\,1)"

在使用 ffmpeg 转码存储到文件时需要加上-re，否则时间不对。

表达式参考：http://www.ffmpeg.org/ffmpeg-utils.html
lt(x, у) Return 1 if X is lesser than y, 0 otherwise.
mod (x, y ) Compute the remainder of division of x by y.

(5)跑马灯效果

ffplay -i input.mp4 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='helloworld':x=mod(100*t\,w):y=abs(sin(t))*h*0.7"

修改字体透明度，修改字体颜色

ffplay -i input.mp4 -vf "drawtext=fontsize=40:fontfile=FreeSerif.ttf:text='liaoqingfu':x=mod(50*t\,w):y=abs(sin(t))*h*0.7:alpha= 0.5:fontcolor=white:enable=lt(mod(t\,3)\,1)"

1.4.2 图片水印

FFmpeg 除了可以向视频添加文字水印之外，还可以向视频添加图片水印、视频跑马灯等，本节将重点 介绍如何为视频添加图片水印;为视频添加图片水印可以使用 movie 滤镜，下面就来熟悉一下 movie 滤镜 的参数，如表 1-5 所示。

ffmpeg -i input.mp4 -vf "movie=logo.png[watermark];[in][watermark]overlay=x=10:y=10[out]” output.mp4

ffplay -i input.mp4 -vf "movie=logo.png[watermark];[in][watermark]overlay=x=10:y=10[out]"

➢ 原始视频文件路径:input.mp4

➢ 水印图片路径:logo.png

➢ 水印位置:(x,y)=(10,10)<=(left,top)距离左侧、顶部各10像素; 

➢ 输出文件路径:output.mp4

对应地可以将 overlay 参数设置成如下值来改变水印图片的位置:

在 FFmpeg 中加入图片水印有两种方式，一种是通过 movie 指定水印文件路径，另外一种方式是通过 filter 读取输入文件的流并指定为水印，这里重点介绍如何读取 movie 图片文件作为水印。
(1)图片 logo.png 将会打入到 input.mp4 视频中，显示在 x 坐标 50、y 坐标 20 的位置

ffplay -i input.mp4 -vf "movie=logo.png[logo];[in][logo]overlay=50:10[out]"

由于 logo.png 图片的背景色是白色，所以显示起来比较生硬，如果水印图片是透明背景的，效果会更好，下面找一张透明背景色的图片试一下:

ffplay -i input.mp4 -vf "movie=logo2.png[watermark];[in][watermark]overlay=50:10[out]" 

(2)显示位置

ffplay -i input.mp4 -vf "movie=logo.png[watermark];[in][watermark]overlay=10:10[out]"

ffplay -i input.mp4 -vf "movie=logo.png[watermark];[in][watermark]overlay=main_w-overlay_w-10:10[out]" 

ffplay -i input.mp4 -vf "movie=logo.png[watermark];[in][watermark]overlay=10:main_h-overlay_h-10[out]"

ffplay -i input.mp4 -vf "movie=logo.png[watermark];[in][watermark]overlay=main_w-overlay_w-10:main_h-overlay_h-10[out]"

(3)跑马灯效果

ffplay -i input.mp4 -vf "movie=logo.png[watermark];[in][watermark]overlay=x=mod(50*t\,main_w):y=abs(sin(t))*h*0.7[out]"

1.4.3 FFmpeg 生成画中画

在使用 FFmpeg 处理流媒体文件时，有时需要使用画中画的效果。在 FFmpeg 中，可以通过 overlay 将 多个视频流、多个多媒体采集设备、多个视频文件合并到一个界面中，生成画中画的效果。在前面的滤镜 使用中，以至于以后的滤镜使用中，与视频操作相关的处理，大多数都会与 overlay 滤镜配合使用，尤其是 用在图层处理与合并场景中，下面就来了解一下 overlay 的参数，具体见表 1-6。

从参数列表中可以看到，主要参数并不多，但实际上在 overlay 滤镜使用中，还有很多组合的参数可以 使用，可以使用一些内部变量，例如 overlay 图层的宽、高、坐标等。

(1)显示画中画效果

ffplay -i input.mp4 -vf "movie=sub_320x240.mp4[sub];[in][sub]overlay=x=20:y=20[out]"

ffplay -i input.mp4 -vf "movie=sub_320x240.mp4[sub];[in][sub]overlay=x=20:y=20:eof_action=1[out]" 

ffplay -i input.mp4 -vf "movie=sub_320x240.mp4[sub];[in][sub]overlay=x=20:y=20:shortest =1[out]"

缩放子画面尺寸

ffplay -i input.mp4 -vf "movie=sub_320x240.mp4,scale=640x480[sub];[in][sub]overlay=x=20:y=20[out]" 

(2)跑马灯

ffplay -i input.mp4 -vf "movie=sub_320x240.mp4[test];[in][test]overlay= x=mod(50*t\,main_w):y=abs(sin(t))*main_h*0.7[out]"

1.4.4 FFmpeg 视频多宫格处理

视频除了画中画显示，还有一种场景为以多宫格的方式呈现出来，除了可以输入视频文件，还可以输入视频流、采集设备等。从前文中可以看出进行视频图像处理时，overlay 滤镜为关键画布，可以通过 FFmpeg 建立一个画布，也可以使用默认的画布。如果想以多宫格的方式展现，则可以自己建立一个足够大的画布， 下面就来看一下多宫格展示的例子:

ffmpeg -i 1.mp4 -i 2.mp4 -i 3.mp4 -i 4.mp4 -filter_complex "nullsrc=size=640x480[base];[0:v] setpts=PTS- STARTPTS,scale=320x240[upperleft];[1:v]setpts=PTS-STARTPTS,scale=320x240[upperright];[2:v]setpts=PTS- STARTPTS, scale=320x240[lowerleft];[3:v]setpts=PTS- STARTPTS,scale=320x240[lowerright];[base][upperleft]overlay=shortest=1[tmp1];[tmp1][upperright]overlay=s hortest=1:x=320[tmp2];[tmp2][lowerleft]overlay=shortest=1:y=240[tmp3];[tmp3][lowerright]overlay=shortest =1:x=320:y=240" out.mp4

命令分解：

ffmpeg -i 1.mp4 -i 2.mp4 -i 3.mp4 -i 4.mp4 
-filter_complex "nullsrc=size=640x480[base];
[0:v] setpts=PTS- STARTPTS,scale=320x240[upperleft];
[1:v]setpts=PTS-STARTPTS,scale=320x240[upperright];
[2:v]setpts=PTS- STARTPTS, scale=320x240[lowerleft];
[3:v]setpts=PTS- STARTPTS,scale=320x240[lowerright];
[base][upperleft]overlay=shortest=1[tmp1];
[tmp1][upperright]overlay=s hortest=1:x=320[tmp2];
[tmp2][lowerleft]overlay=shortest=1:y=240[tmp3];
[tmp3][lowerright]overlay=shortest =1:x=320:y=240" out.mp4

1.2.3.4.mp4 为文件路径，out.MP4 为输出文件路径，通过 nullsrc 创建 overlay 画布，画布大小 640:480, 使用[0:v][1:v][2:v][3:v]将输入的 4 个视频流去除，分别进行缩放处理，然后基于 nullsrc 生成的画布进行视 频平铺，命令中自定义 upperleft,upperright,lowerleft,lowerright 进行不同位置平铺。

只叠加左上右上的命令:

ffmpeg -i 1.mp4 -i 2.mp4 -i 3.mp4 -i 4.mp4 -filter_complex "nullsrc=size=640x480[base];[0:v]setpts=PTS- STARTPTS,scale=320x240[upperleft];[1:v]setpts=PTS- STARTPTS,scale=320x240[upperright];[base][upperleft]overlay=shortest=1[tmp1];[tmp1][upperright]overlay=sho rtest=1:x=320" out2.mp4