音视频学习笔记-SDP
SDP 是会话描述协议, 它用文本描述各端的能力. 如各端多支持的音频编解码器是什么, 这些解码器设定的参数是什么, 使用的传输协议是什么, 以及包括的音视频媒体是什么等等.
在进行音视频通话时, 首先要进行信令交互, 而交互的一个重要信息就是SDP的互换, 目的是为了让对方知道彼此具有哪些能力, 然后根据双方各自的能力进行协商, 协商出大家认可的音视频编解码器, 相关参数, 传输协议等.
标准SDP规范
描述格式
-
SDP结构
- 会话描述
- 媒体描述
- 媒体类型
- 媒体格式
- 传输协议
- 传输的IP和端口
SDP格式
由多个<type>=<value>表达式组成. SDP由一个会话级描述和多个媒体级描述组成.
- 会话级的作用是整个会话, 从v=行开始到第一个媒体描述为止.
- 媒体级是单个的媒体流进行描述, 从m=行开始到下一个媒体描述为止.
另外, 除非媒体部分重新对会话级的值做定义, 否则会话级的值就是各个媒体的缺省默认值.
v=0
o=- 7017624586836067756 2 IN IP4 127.0.0.1
s=-
t=0 0
//下面 m= 开头的两行，是两个媒体流：一个音频，一个视频。
m=audio 9 UDP/TLS/RTP/SAVPF 111 103 104 9 0 8 106 105 13 126
...
m=video 9 UDP/TLS/RTP/SAVPF 96 97 98 99 100 101 102 122 127 121 125 107 108 109 124 120 123 119 114 115 116
...
SDP的结构
- 会话描述结构
- v=(protocol version, require), 如v=0, 表示SDP的版本号.
- o=(owner/creator and session identifier, require), 如o=<username> < session id> <version> <network type> <address type> <address>
- o= 表示对会话发起者的描述.
- <username>: 用户名, 不关心用户名时, 用"-"代替.
- <session id>: 数字串, 在整个会话中, 必须唯一.
- <version>: 版本号, 每次会话数据修改后, 还版本值会递增.
- <network type>: 网络类型, 一般为"IN", 表示"internet".
- < address type > : 地址类型, 一般为IP4.
- < address >: IP地址.
- s=<session name> require, 表示一个会话, 在整个SDP中有且仅有一个会话.
- t=(time the session is active, require), 描述开始时间和结束时间.
- 媒体描述结构
- m=(media name and transport address, optional), 如m=<media> <port> <transport> <fmt list>, 表示一个会话. 在一个SDP中一般会有多个媒体描述, 每个媒体描述以"m="开始到下一个"m="结束.
- <media>: 媒体类型, 如audio/video.
- <port>: 端口.
- <transport>: 传输协议, 如RTP/AVP, UDP.
- <fmt list>: 媒体格式, 即负载类型(Payload Type)列表.
- a=*(zero or more media attribute lines, optional), 如 a=<type> or a=<type>:<values>, 表示属性, 用于进一步描述媒体信息.
- rtpmap(optional), a=rtpmap:<payload type> <encoding name> <clock rate>
- rtpmap是rtp与map的结合, 即RTP参数映射表.
- <payload type>: 负载类型, 对应RTP包中的音视频数据负载类型.
- <encoding name>: 编码器名称, 如VP8, VP9, OPUS.
- <sample rate>: 采样率.
- <encodingparameters>: 编码参数, 如音频是否是双声道, 默认是单声道.
- fmtp, 如a=fmtp:<payload type> <format specific parameters>
- fmtp, 格式参数
- <payload type>, 负载类型
- <format specific parameters> 指具体参数.
- m=(media name and transport address, optional), 如m=<media> <port> <transport> <fmt list>, 表示一个会话. 在一个SDP中一般会有多个媒体描述, 每个媒体描述以"m="开始到下一个"m="结束.
v=0
o=- 4007659306182774937 2 IN IP4 127.0.0.1
s=-
t=0 0
//以上表示会话描述
...
//下面的媒体描述，在媒体描述部分包括音频和视频两路媒体
m=audio 9 UDP/TLS/RTP/SAVPF 111 103 104 9 0 8 106 105 13 110 112 113 126
...
a=rtpmap:111 opus/48000/2 //对RTP数据的描述
a=fmtp:111 minptime=10;useinbandfec=1 //对格式参数的描述
...
a=rtpmap:103 ISAC/16000
a=rtpmap:104 ISAC/32000
...
//上面是音频媒体描述，下面是视频媒体描述
m=video 9 UDP/TLS/RTP/SAVPF 96 97 98 99 100 101 102 122 127 121 125 107 108 109 124 120 123 119 114 115 116
...
a=rtpmap:96 VP8/90000
...
WebRTC中的SDP
WebRTC对标准SDP规范做了调整, 它将SDP按功能分成几大块:
- Session Metadata 会话元数据
- Network Description 网络描述
- Stream Description 流描述
- Security Descriiption 安全描述
- Qos Grouping Description 服务质量描述
216e0bc9ccfcb5dd3593f11e8b857dfa
60ac066baf39e92f4d9a3627cfe007ce
//=============会话描述====================
v=0
o=- 7017624586836067756 2 IN IP4 127.0.0.1
s=-
t=0 0
...
//================媒体描述=================
//================音频媒体=================
/*
* 音频使用端口1024收发数据
* UDP/TLS/RTP/SAVPF 表示使用 dtls/srtp 协议对数据加密传输
* 111、103 ... 表示本会话音频数据的 Payload Type
*/
m=audio 1024 UDP/TLS/RTP/SAVPF 111 103 104 9 0 8 106 105 13 126
//==============网络描述==================
//指明接收或者发送音频使用的IP地址，由于WebRTC使用ICE传输，这个被忽略。
c=IN IP4 0.0.0.0
//用来设置rtcp地址和端口，WebRTC不使用
a=rtcp:9 IN IP4 0.0.0.0
...
//==============音频安全描述================
//ICE协商过程中的安全验证信息
a=ice-ufrag:khLS
a=ice-pwd:cxLzteJaJBou3DspNaPsJhlQ
a=fingerprint:sha-256 FA:14:42:3B:C7:97:1B:E8:AE:0C2:71:03:05:05:16:8F:B9:C7:98:E9:60:43:4B:5B:2C:28:EE:5C:8F3:17
...
//==============音频流媒体描述================
a=rtpmap:111 opus/48000/2
//minptime代表最小打包时长是10ms，useinbandfec=1代表使用opus编码内置fec特性
a=fmtp:111 minptime=10;useinbandfec=1
...
a=rtpmap:103 ISAC/16000
a=rtpmap:104 ISAC/32000
a=rtpmap:9 G722/8000
...
//=================视频媒体=================
m=video 9 UDP/TLS/RTP/SAVPF 100 101 107 116 117 96 97 99 98
...
//=================网络描述=================
c=IN IP4 0.0.0.0
a=rtcp:9 IN IP4 0.0.0.0
...
//=================视频安全描述=================
a=ice-ufrag:khLS
a=ice-pwd:cxLzteJaJBou3DspNaPsJhlQ
a=fingerprint:sha-256 FA:14:42:3B:C7:97:1B:E8:AE:0C2:71:03:05:05:16:8F:B9:C7:98:E9:60:43:4B:5B:2C:28:EE:5C:8F3:17
...
//================视频流描述===============
a=mid:video
...
a=rtpmap:100 VP8/90000
//================服务质量描述===============
a=rtcp-fb:100 ccm fir
a=rtcp-fb:100 nack //支持丢包重传，参考rfc4585
a=rtcp-fb:100 nack pli
a=rtcp-fb:100 goog-remb //支持使用rtcp包来控制发送方的码流
a=rtcp-fb:100 transport-cc
...
