音频处理流程
直播客户端的处理流程
image.png
音频数据的流转
PCM：采集数据的格式就是PCM数据（模拟信号转换成数字信号）
image.png
WAV：既可以存储原始数据也可以存储压缩数据，但大部分WAV存储的是原始的数据，WAV其实上是在PCM的头上套了一个头，而这个头包含了基本的原始数据信息
量化的基本概念
采样大小：一个采样用多少bit存放，一般是16bit
采样率：采样频率8K、16K、32K、44.1K、48K
声道数：单声道、双声道、多声道
码率计算
image.png
WAV Header
image.png
WAV的例子
image.png
Android音频采集
Android音视频采集分为两层API,底层的使用的是AudioRecoder，应用层使用MediaRecoder的API,直接采集的数据保存为音视频文件
FFmpeg采集音频
使用ffmpeg采集音频：ffmpeg -f avfoundation -i :0 out.wav
ffplay out.wav
FFmpeg采集音频的流程
FFmpeg采集音频分三步： 打开音频设备、采集音频数据包 、输出文件
打开音频设备：注册设备 ----> 设置采集方式：avfoundation/dshow/alsa. --->打开音频设备
AVFormatContext *fmt_ctx;
char *devicename =":0";
int ret = 0;
char errors[1024];
AVDictionary *options = NULL;
//注册设备 register audio device
avdevice_register_all();
//获取格式 get format
AVInputFormat *iformat = av_find_input_format("avfoundation");
if((ret = avformat_open_input(&fmt_ctx, devicename, iformat,&options)) < 0){
av_strerror(ret,errors, 1024);
printf(stderr,"failed open audio device,[%d]%s\n",ret,errors);
}
av_read_frame
AVFormatContext:上下文，表示读取的数据是从哪里获取的，是从设备还是多媒体
AVPackage:音视频包
data：音视频数据
size：音视频数据的地址也就是数据缓冲区的大小
与AVpackage相关的API 头文件是在：libavcodec/avcodec.h
av_init_packet 初始化
av_packet_unref 释放资源
av_packet_alloc 1、分配avPacket空间 2、alloc进行初始化
av_packet_free 先对avPacket空间进行释放，然后对unref进行解引用
返回值为0表示读取成功
AVPacket pkt;
av_init_packet(&pkt);
while ((ret = av_read_frame(fmt_ctx,&pkt )) == 0) {
printf("pkt size is %d \n",pkt.size);
}
av_packet_unref(&pkt);
