音视频开发学习解析AAC码流中的ADTS frame

音频码流在视频播放器中的位置如下所示。

image.png

一、AAC音频编码介绍

AAC共有9种规格，以适应不同的场合的需要：

MPEG-2 AAC LC 低复杂度规格（Low Complexity）	比较简单，没有增益控制，但提高了编码效率，在中等码率的编码效率以及音质方面，都能找到平衡点
MPEG-2 AAC Main 主规格
MPEG-2 AAC SSR 可变采样率规格（Scaleable Sample Rate）
MPEG-4 AAC LC 低复杂度规格（Low Complexity）	现在的手机比较常见的MP4文件中的音频部份就包括了该规格音频文件
MPEG-4 AAC Main 主规格	包含了除增益控制之外的全部功能，其音质最好
MPEG-4 AAC SSR 可变采样率规格（Scaleable Sample Rate）
MPEG-4 AAC LTP 长时期预测规格（Long Term Predicition）
MPEG-4 AAC LD 低延迟规格（Low Delay）
MPEG-4 AAC HE 高效率规格（High Efficiency）	这种规格适合用于低码率编码，有Nero ACC 编码器支持

目前使用最多的是LC和HE(适合低码率)。
流行的Nero AAC编码程序只支持LC，HE，HEv2这三种规格，编码后的AAC音频，规格显示都是LC。
HE其实就是AAC（LC）+SBR技术，HEv2就是AAC（LC）+SBR+PS技术；

1.1 AAC的音频文件格式

AAC的音频文件格式有ADIF ＆ ADTS：

ADIF：Audio Data Interchange Format 音频数据交换格式。
这种格式的特征是可以确定的找到这个音频数据的开始，不需进行在音频数据流中间开始的解码，即它的解码必须在明确定义的开始处进行。故这种格式常用在磁盘文件中。

ADTS：Audio Data Transport Stream 音频数据传输流。
这种格式的特征是它是一个有同步字的比特流，解码可以在这个流中任何位置开始。它的特征类似于mp3数据流格式。

简单说，ADTS可以在任意帧解码，也就是说它每一帧都有头信息。
ADIF只有一个统一的头，所以必须得到所有的数据后解码。
且这两种的header的格式也是不同的，目前一般编码后的和抽取出的都是ADTS格式的音频流。

ADTS流结构如下：

image.png

其中每个ADTS frame之间通过syncword（同步字）进行分隔。

同步字为0xFFF（二进制“1111 1111 1111”）。

AAC码流解析的步骤就是首先从码流中搜索0x0FFF，分离出ADTS frame；然后再分析ADTS frame的首部各个字段。

（1）帧同步目的在于找出帧头在比特流中的位置，13818-7规定，aac ADTS格式的帧头，同步字为12比特的“ 1111 1111 1111 ”.

（2）ADTS的头信息为两部分组成，其一为固定头信息，紧接着是可变头信息。固定头信息中的数据每一帧都相同，而可变头信息则在帧与帧之间可变。

image.png

数据解析如下：

ff f1 4c 80 2a 9f fc 27 0c 54 15 
------------>

ff f1
--->fff                 :Byte[0,1](ff f1)           syncword (12bit)
--->0                   :Byte[1](f1)                ID  (1bit)
--->00                  :Byte[1](f1)                LAYer   (2bit)
--->1                   :Byte[1](f1)                protection_absent (1bit)

4c(0100 1100)  80(1000 0000) 2a(0010 1010) 9f(1001 1111) fc(1111 1100)
--->01                  :Byte[2](4c)                LC  (2bit)
--->00 11               :Byte[2](4c)                48000HZ (4bit)
--->0                   :Byte[2](4c)                private_bit(1bit)
--->010                 :Byte[2,3](4c 80)           channel_configuration   (3bit)
--->0                   :Byte[3](80)                original/copy   (1bit)
--->0                   :Byte[3](80)                home(1bit)

--->0                   :Byte[3](80)                copyright_identification_bit(1bit)
--->0                   :Byte[3](80)                copyright_idectification_start(1bit)

--->00 0010 1001 100    :Byte[3,4,5](80 2a 9f)      frame_lenght (13bit)    332 数据大小
--->1 1111 1111 11      :Byte[5,6](9f fc)           adts_buffer_fullness (11bit)
--->00                  :Byte[6](fc)                number_of_raw_data_blocks_in_frame  (2bit)

1.2 AAC的解码流程

image.png

在主控模块开始运行后，主控模块将AAC比特流的一部分放入输入缓冲区，通过查找同步字得到一帧的起始，找到后，根据ISO/IEC 13818-7所述的语法开始进行Noisless Decoding(无噪解码)，无噪解码实际上就是哈夫曼解码，通过反量化(Dequantize)、联合立体声（Joint Stereo），知觉噪声替换（PNS）,瞬时噪声整形（TNS），反离散余弦变换（IMDCT），频段复制（SBR）这几个模块之后，得出左右声道的PCM码流，再由主控模块将其放入输出缓冲区输出到声音播放设备。

1.3 AAC的Profiles

image.png

1.4 AAC的Frequency

image.png

二、准备AAC素材

先从网上下载一首歌，我下载了一首 flac格式的《平凡之路》，
通过ffmpeg 转换aac 的合令为： ffmpeg -i input.wav -acodec libfaac output.aac
如果报错：Unknown encoder ‘libfaac’
就需要去下载编译 libfaac，添加让其支持。

我们此处获取aac 的方式为，直接从 mp4视频中获取，
ffmpeg命令为：ffmpeg -i HarryPotter.mp4 -vn -y -acodec copy video.aac

可以看出提取出来的aac格式为：aac (LC) (mp4a / 0x6134706D), 48000 Hz, stereo, fltp, 131 kb/s

C:\Users\ciellee\Desktop\YUV420\H.264>ffmpeg -i HarryPotter.mp4 -vn -y -acodec copy video.aac
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'HarryPotter.mp4':
  Metadata:
    major_brand     : mp42
    minor_version   : 0
    compatible_brands: mp41isom
    creation_time   : 2014-12-21T08:40:48.000000Z
  Duration: 00:06:57.51, start: 0.000000, bitrate: 2096 kb/s
    Stream #0:0(und): Video: h264 (Constrained Baseline) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 1961 kb/s, 30 fps, 30 tbr, 30k tbn, 60 tbc (default)
    Metadata:
      creation_time   : 2020-08-30T11:01:59.000000Z
      handler_name    : VideoHandler
      encoder         : AVC Coding
    Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, stereo, fltp, 131 kb/s (default)
    Metadata:
      creation_time   : 2020-08-30T11:01:59.000000Z
      handler_name    : SoundHandler
Output #0, adts, to 'video.aac':
  Metadata:
    major_brand     : mp42
    minor_version   : 0
    compatible_brands: mp41isom
    encoder         : Lavf58.30.100
    Stream #0:0(und): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, stereo, fltp, 131 kb/s (default)
    Metadata:
      creation_time   : 2020-08-30T11:01:59.000000Z
      handler_name    : SoundHandler
Stream mapping:
  Stream #0:1 -> #0:0 (copy)
Press [q] to stop, [?] for help
size=    6829kB time=00:06:57.49 bitrate= 134.0kbits/s speed=8.2e+03x
video:0kB audio:6696kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 1.998099%

我们把生成的 video.aac 文件，通过hexdump 导出成txt 看下它的内容：
hexdump video.acc >video.acc.txt

image.png

解析举例：

ff f1 4c 80 2a 9f fc 27 0c 54 15 
------------>
ff f        : syncword
1: MPEG identifier 1

4c(0100 1100)  
===>01      ：   LC          profile
===>00 11   :   48000HZ     AAC的频率

80(1000 0000) 2a(0010 1010) 9f(1001 1111)
===>1000 00
===>00 0010 1001 100:   332 数据大小

三、获取所有ADTS frame内容 - 程序代码实现

本程序的目的是，通过解析同步字为0xFFF，获取每个ADTS frame的内容。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

int Get_ADTS_Frame(unsigned char *buff, int buff_size, unsigned char* frame, int *frame_size)
{
  int size = 0;
  if(buff==NULL || frame==NULL || buff_size==0)
  {
      return -1;
  }
  
  while(1){
      if(buff_size < 7)
          return -1;
      
      // Sync Word 0xff f1 
      if((buff[0] == 0xff) && ((buff[1] & 0xff) == 0xf1)){
          size |= ((buff[3] & 0x03) << 11);   // high 2bit
          size |= buff[4] << 3;               // middle 8bit
          size |= ((buff[5] & 0xe0) >> 5);    // low 3bit
          break; 
      } 
      buff_size--;
      buff++;
  }
  
  if(buff_size < size)
  {
      return 1;
  }
  
  memcpy(frame, buff, size);
  *frame_size = size;
  
  return 0;
} 


int parser_aac(char *url)
{
  int data_size=0, frame_size=0, offset=0, count=0;
  unsigned char *input_data=NULL;
  
  
  FILE *aac_file = fopen(url, "rb+"); // 打开aac文件
  
  // 申请内存空间
  unsigned char *aac_frame = (unsigned char *)malloc(1024 * 10);
  unsigned char *aac_buffer = (unsigned char *)malloc(1024 * 1024 * 2);
       
  printf("-----+- ADTS Frame Table -+------+\n");
  printf(" NUM | Profile | Frequency| Size |\n");
  printf("-----+---------+----------+------+\n");
  
  while(!feof(aac_file))
  {
      data_size = fread(aac_buffer + offset, 1, 1024*1024*2 -offset, aac_file);
      input_data = aac_buffer; 
      printf("---------\n"); 
      while(1) 
      {
          // 解析每一个ADTS Frame 
          int ret = Get_ADTS_Frame(input_data, data_size, aac_frame, &frame_size);
          if(ret == -1)
              break;
          else if(ret == 1){
              // 解析成功后，将数据拷贝到 aac_buffer 中 
              memcpy(aac_buffer, input_data, data_size);
              offset = data_size;
              break;
          }else{
              
              // 解析 Profile   
              char profile_str[10] = {0};
              char frequence_str[10] = {0}; 
          
              unsigned char profile = aac_frame[2] & 0xC0;
              profile = profile>>6;
              
              switch(profile){
                  case 0: sprintf(profile_str,"Main");break;
                  case 1: sprintf(profile_str,"LC");break;
                  case 2: sprintf(profile_str,"SSR");break;
                  default:sprintf(profile_str,"unknown");
                          printf("%x %x %x %x %x %x %x %x\n",
                              aac_frame[0], aac_frame[1], aac_frame[2], aac_frame[3], aac_frame[4], aac_frame[5], aac_frame[6], aac_frame[7]);
                          break;
              }
              
              // 解析 frequence
              unsigned char sampling_frequency_index = aac_frame[2] & 0x3C;
              sampling_frequency_index = sampling_frequency_index >> 2;
              switch(sampling_frequency_index){
                  case 0: sprintf(frequence_str,"96000Hz");break;
                  case 1: sprintf(frequence_str,"88200Hz");break;
                  case 2: sprintf(frequence_str,"64000Hz");break;
                  case 3: sprintf(frequence_str,"48000Hz");break;
                  case 4: sprintf(frequence_str,"44100Hz");break;
                  case 5: sprintf(frequence_str,"32000Hz");break;
                  case 6: sprintf(frequence_str,"24000Hz");break;
                  case 7: sprintf(frequence_str,"22050Hz");break;
                  case 8: sprintf(frequence_str,"16000Hz");break;
                  case 9: sprintf(frequence_str,"12000Hz");break;
                  case 10:sprintf(frequence_str,"11025Hz");break;
                  case 11:sprintf(frequence_str,"8000Hz") ;break;
                  default:sprintf(frequence_str,"unknown");
                          printf("%x %x %x %x %x %x %x %x\n",
                              aac_frame[0], aac_frame[1], aac_frame[2], aac_frame[3], aac_frame[4], aac_frame[5], aac_frame[6], aac_frame[7]);
                          break;
              }
              
              printf("%5d| %8s|  %8s| %5d|\n",count, profile_str, frequence_str, frame_size);
              data_size -= frame_size;
              input_data = input_data+frame_size;
              count++;
          }   
      }
  }
  printf("解析结束\n\n"); 
}


int main(void)
{
  parser_aac("video.aac");
  
  return 0;
}

运行结果为：

-----+- ADTS Frame Table -+------+
 NUM | Profile | Frequency| Size |
-----+---------+----------+------+
    0|       LC|   48000Hz|   200|
    1|       LC|   48000Hz|   207|
    2|       LC|   48000Hz|   211|
    3|       LC|   48000Hz|   302|
    4|       LC|   48000Hz|   306|
    5|       LC|   48000Hz|   327|
    6|       LC|   48000Hz|   326|
    7|       LC|   48000Hz|   298|
    8|       LC|   48000Hz|   325|
    9|       LC|   48000Hz|   302|
   10|       LC|   48000Hz|   323|
   11|       LC|   48000Hz|   334|
   12|       LC|   48000Hz|   340|
   13|       LC|   48000Hz|   309|
   14|       LC|   48000Hz|   337|
   15|       LC|   48000Hz|   318|
   16|       LC|   48000Hz|   337|
   17|       LC|   48000Hz|   332|
   18|       LC|   48000Hz|   338|
   19|       LC|   48000Hz|   313|
   20|       LC|   48000Hz|   310|
   21|       LC|   48000Hz|   342|
   22|       LC|   48000Hz|   337|
   23|       LC|   48000Hz|   338|
   24|       LC|   48000Hz|   328|
   25|       LC|   48000Hz|   330|
   26|       LC|   48000Hz|   329|
   27|       LC|   48000Hz|   340|
   28|       LC|   48000Hz|   320|
   29|       LC|   48000Hz|   341|
   30|       LC|   48000Hz|   314|
   31|       LC|   48000Hz|   322|
   32|       LC|   48000Hz|   339|
   33|       LC|   48000Hz|   328|
   34|       LC|   48000Hz|   343|
   35|       LC|   48000Hz|   331|
   36|       LC|   48000Hz|   326|
   37|       LC|   48000Hz|   321|
   38|       LC|   48000Hz|   323|
   39|       LC|   48000Hz|   336|
   40|       LC|   48000Hz|   323|
   41|       LC|   48000Hz|   341|
   42|       LC|   48000Hz|   316|
   43|       LC|   48000Hz|   329|
   44|       LC|   48000Hz|   326|
   45|       LC|   48000Hz|   325|
   46|       LC|   48000Hz|   318|
   47|       LC|   48000Hz|   341|
   48|       LC|   48000Hz|   315|

-----+- ADTS Frame Table -+------+
 NUM | Profile | Frequency| Size |
-----+---------+----------+------+
    0|       LC|   48000Hz|   200|  -- ff f1 4c 80 19 1f
    1|       LC|   48000Hz|   207|  -- ff f1 4c 80 19 ff
    2|       LC|   48000Hz|   211|  -- ff f1 4c 80 1a 7f
    3|       LC|   48000Hz|   302|  -- ff f1 4c 80 25 df
    4|       LC|   48000Hz|   306|  -- ff f1 4c 80 26 5f
    5|       LC|   48000Hz|   327|  -- ff f1 4c 80 28 ff
    6|       LC|   48000Hz|   326|  -- ff f1 4c 80 28 df
    7|       LC|   48000Hz|   298|  -- ff f1 4c 80 25 5f
    8|       LC|   48000Hz|   325|  -- ff f1 4c 80 28 bf
    9|       LC|   48000Hz|   302|  -- ff f1 4c 80 25 df
   10|       LC|   48000Hz|   323|  -- ff f1 4c 80 28 7f
   11|       LC|   48000Hz|   334|  -- ff f1 4c 80 29 df
   12|       LC|   48000Hz|   340|  -- ff f1 4c 80 2a 9f
   13|       LC|   48000Hz|   309|  -- ff f1 4c 80 26 bf
   14|       LC|   48000Hz|   337|  -- ff f1 4c 80 2a 3f
   15|       LC|   48000Hz|   318|  -- ff f1 4c 80 27 df
   16|       LC|   48000Hz|   337|  -- ff f1 4c 80 2a 3f

FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发学习资料、教学视频和学习路线图分享有需要的可以自行添加学习交流群或者资料获取

image.png

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 211,948评论 6赞 492
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,371评论 3赞 385
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 157,490评论 0赞 348
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,521评论 1赞 284
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 65,627评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,842评论 1赞 290
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,997评论 3赞 408
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,741评论 0赞 268
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,203评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,534评论 2赞 327
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,673评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,339评论 4赞 330
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,955评论 3赞 313
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,770评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,000评论 1赞 266
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,394评论 2赞 360
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,562评论 2赞 349

音视频开发学习 解析AAC码流中的ADTS frame

一、AAC音频编码介绍

1.1 AAC的音频文件格式

1.2 AAC的解码流程

1.3 AAC的Profiles

1.4 AAC的Frequency

二、准备AAC素材

三、获取所有ADTS frame内容 - 程序代码实现

推荐阅读更多精彩内容

音视频开发学习解析AAC码流中的ADTS frame