音视频开发入门学习笔记

2021年4月23日

这是本人在某某网的学习音视频笔记,主要包括音视频的入门和ffmpeg的实战。笔记内容按照上课流程进行排版的,每个人的基础不一样,我只把我自己认为需要记的才会写入笔记;本人五年iOS开发,了解一下~~ 😬

1. 【音频基础知识】
2. 【音频采集实战】
3. 【音频编码原理】
4. 【音频编解码实战】
5. 【视频基础知识】
6. 【视频采集实战】
7. 【视频编码原理】
8. 【视频编解码实战】
9. 【RTMP协议和传输】
10. 【搭建流媒体服务器】

会持续更新~~

可以加入QQ交流群一起学习:326144274

其他入门必备知识

【ffmpeg的编译和安装】
【ffmpeg相关命令】
【音视频入门常见问题】


Linux基础:

1. 基础命令

    1. ls   显示当前目录的子目录

    2. cd 进入某个目录

    3. pwd 获取当前目录

    4. mkdir 创建文件夹

    5. cp 拷贝一个文件到另外一个地方

    6. rm 删除单个文件  rm -rf 循环删除 子目录

    7. sudo 使用管理员身份 操作

    8. pkg-config  链接 C/C++ 库

    9. echo 写数据到一个文件  如果没有这个文件 就创建  如: echo "dada"  test.txt

    10. cat 查看文件内容

    11. which  获取某个环境变量的目录地址

    12. | grep 查找某个命令的详情

2. vim基本命令   
    - 详细命令地址: https://www.runoob.com/linux/linux-vim.html 
    - vim 分为命令模式和编辑模式,默认是命令模式通过i/a切换到编辑模式,按退出键就从编辑模式切换到命令模式;
    1. :w 保存
    2. :q 退出 保存并退出 :wq
    3. i/a  编辑文件 i表示在光标之后插入字符,a表示在光标之前插入字符;
    4. h 光标左移 j 上移 k 下移 L 右移   
    5. 拷贝 yy(拷贝一行)/yw(拷贝一个词)
    6. 粘贴 p
    7. 删除 dd(删除一行)/ dw (删除一个词)
    8. 跳到文件头 gg  文件尾 GG
    9. 移动到行首 ^ 行尾 $
    10. 按单词移动:向前w/2w/3w/...  向后b/2b/3b/...
    11. 查找 /关键字...
    12. 查找与替换 %/关键字/替换字/gc(g表示一行中多次搜索关键字c表示替换时需要经过确认)  %表示查找整个文件,也可以使用行业限制查找区域如1,10;
        在查找通过n跳到下一个查找结果,N 跳回到上一个查找结果;
    13. 显示行号  set number
    14. 多窗口模式 split(水平分窗口) / vsplit(垂直切分窗口)
          窗口跳转  ctrl + ww / w[hjkl]
          放大某一个窗口  ctrl + w + -/|  ,恢复: ctrl + w + =
          关闭窗口 close
    15. 设置代码关键字高亮  : syntax on

3. linux中的环境变量 
    mac中环境变量的地址:~/.bash_profile 使用source命令使环境变量生效;
    pkg-config命令 直接获取PKG_CONFIG_PATH环境中的地址去查找.pc文件 如:pkg-config --libs --cflags 库名  其中--libs指库的地址  --cflags库的头文件 
    详细了解地址:https://www.cnblogs.com/sddai/p/10266624.html
    1. PATH 可执行的二进制文件,添加进去后可以作为命令调用

    2. PKG_CONFIG_PATH   用于放置.pc库,同LD_LIBRARY_PATH

    3. LD_LIBARARY_PATH  用于放置.so库,如果自己安装的.so库不在/usr/lib:/usr/lib64:/lib:/lib64:/usr/local/lib:/usr/local/lib64下, 则需要加到该环境变量中,系统才能调用到该库 
  1. vim编辑时的常用设置,将以下以内容编辑到~/.vimrc文件中;
“去掉讨厌的有关vi一致性模式,避免以前版本的一些bug和局限
set nocompatible

“显示行号
set number

“检测文件的类型
filetype on

“记录历史的行数
  set history=1000

“背景使用黑色
set background=dark

“语法高亮度显示
syntax on

“下面两行在进行编写代码时,在格式对起上很有用;
“第一行,vim使用自动对起,也就是把当前行的对起格式应用到下一行;
“第二行,依据上面的对起格式,智能的选择对起方式,对于类似C语言编
“写上很有用
set autoindent
set smartindent

“第一行设置tab键为4个空格,第二行设置当行之间交错时使用4个空格
set tabstop=4
set shiftwidth=4

“设置匹配模式,类似当输入一个左括号时会匹配相应的那个右括号
set showmatch

“去除vim的GUI版本中的toolbar
set guioptions-=T

“当vim进行编辑时,如果命令错误,会发出一个响声,该设置去掉响声
set vb t_vb=

“在编辑过程中,在右下角显示光标位置的状态行
set ruler

“默认情况下,寻找匹配是高亮度显示的,该设置关闭高亮显示
set nohls

“查询时非常方便,如要查找book单词,当输入到/b时,会自动找到第一
“个b开头的单词,当输入到/bo时,会自动找到第一个bo开头的单词,依
“次类推,进行查找时,使用此设置会快速找到答案,当你找要匹配的单词
“时,别忘记回车
set incsearch

“修改一个文件后,自动进行备份,备份的文件名为原文件名加“~“后缀
if has(“vms”)
   set nobackup
else
   set backup
endif

C语言基础:

1. 指针 可以对指针进行操作 也可以获取指针指向的内容进行操作 获取指针的内容 *变量名  

2. 堆内存的分配和释放

    1. 内存分配  void *v = malloc(size)  malloc属于”stdlib“库;

    2. 内存释放  free(v) v = NULL;


3. C语言的一些较难的使用

    1. 函数指针  声明写法:返回值类型 (*函数指针变量名) (形参列表)  面向对象中的多态实际上就是用的函数指针实现的,还有iOS开发中的runtime中的message_invoke和message_send方法也是使用的函数指针进行发消息的;

    2. 文件操作

        1. FILE *file 

         2. 打开文件 FILE* fopen(path, mode)其中mode w == write r == read ; 

         3. 写文件  fwrite(字符串指针,每个字符的大小,总大小,FILE);

         4. 读文件  fread(buffer,每个字符的大小,总大小,FILE);

         5. 关闭文件 fclose(FILE);
http://img.mukewang.com/szimg/60826de709a1312a12181172.jpg

C 的编译与执行

  1. 编译: gcc/clang -g(debug模式) -o(指定输出的可执行文件名称) bin xxx.c;


    image.png
  • -i. -L. (点表示当前目录) -l(省略lib的库名)
  • pkg-config ---cflags --libs ...可以替代 -i -L -l
  1. 生成静态库
  • 将c文件编译成.o文件:clang -g -c c文件名.c
  • libtool - static -o libLIBNAME.a c文件名.o
  1. 链接分为静态链接和动态链接,静态链接是会把相关的静态库添加到程序,动态链接是在运行时,去共享区,调用访问的动态库;
  1. 调试器


    调试器原理
调试命令

将可执行程序加载到调试器:lldb exe ,加载到调试器后会在同级目录生成一个dsym文件;
查看调试信息文件:dwarfdump 调试信息文件(在dsym下面)

  1. 执行: ./可执行文件名

音视频处理流程:

1. 直播客户端的处理流程

    1. 音视频采集 

    2. 音视频编码: 有损编码  无损编码

    3. 传输到观看端 - 解码-渲染

2. 音频数据的流转

    1. 将采集到模拟信号转成数字信号,数据的格式一般为PCM;

    2. 压缩 编码为 例:aac/mp3 等;

    3. 生成多媒体文件,相当于再从外面套个套,相当于穿了个马甲,就是平常所用到的格式 如: MP4/flv,这个马甲也可以自己定义;
   
    4. 解码:就先确定格式,脱掉马甲拿到压缩数据进行解码,还原成pcm就能在观看端进行播放了;
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,163评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,301评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,089评论 0 352
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,093评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,110评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,079评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,005评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,840评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,278评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,497评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,667评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,394评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,980评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,628评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,649评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,548评论 2 352