音视频流媒体开发-目录
iOS知识点-目录
Android-目录
Flutter-目录
数据结构与算法-目录
uni-pp-目录
RTP报⽂格式
RTP报⽂由两部分组成:报头和有效载荷。RTP报头格式如下图所示,其中:
- V:RTP协议的版本号,占2位,当前协议版本号为2。
- P:填充标志,占1位,如果P=1,则在该报⽂的尾部填充⼀个或多个额外的⼋位组,它们不是有效载荷的⼀部分。
- X:扩展标志,占1位,如果X=1,则在RTP报头后跟有⼀个扩展报头。
- CC:CSRC计数器,占4位,指示CSRC 标识符的个数。
- M: 标记,占1位,不同的有效载荷有不同的含义,对于视频,标记⼀帧的结束;对于⾳频,标记帧的开始。
- PT: 有效载荷类型,占7位,⽤于说明RTP报⽂中有效载荷的类型,如GSM⾳频、JPEM图像等。
- 序列号:占16位,⽤于标识发送者所发送的RTP报⽂的序列号,每发送⼀个报⽂,序列号增1。接收者通过序列号来检测报⽂丢失情况,重新排序报⽂,恢复数据。
- 时戳(Timestamp):占32位,时戳反映了该RTP报⽂的第⼀个⼋位组的采样时刻。接收者使⽤时戳来计算延迟和延迟抖动,并进⾏同步控制。
- 同步信源(SSRC)标识符:占32位,⽤于标识同步信源。该标识符是随机选择的,参加同⼀视频会议的两个同步信源不能有相同的SSRC。
- 特约信源(CSRC)标识符:每个CSRC标识符占32位,可以有0~15个。每个CSRC标识了包含在该RTP报⽂有效载荷中的所有特约信源。
RTP报⽂格式
typedef struct _rtp_header_t {
uint32_t v:2; /* protocol version */
uint32_t p:1; /* padding flag */
uint32_t x:1; /* header extension flag */
uint32_t cc:4; /* CSRC count */
uint32_t m:1; /* marker bit */
uint32_t pt:7; /* payload type */
uint32_t seq:16; /* sequence number */
uint32_t timestamp; /* timestamp */
uint32_t ssrc; /* synchronization source */
} rtp_header_t;
同步信源是指产⽣媒体流的信源,例如⻨克⻛、摄像机、RTP混合器等。它通过RTP报头中的⼀个32位数字SSRC标识符来标识,⽽不依赖于⽹络地址,接收者将根据SSRC标识符来区分不同的信源,进⾏RTP报⽂的分组。
特约信源是指当混合器接收到⼀个或多个同步信源的RTP报⽂后,经过混合处理产⽣⼀个新的组合RTP报⽂,并把混合器作为组合RTP报⽂的SSRC,⽽将原来所有的SSRC都作为CSRC传送给接收者,使接收者知道组成组合报⽂的各个SSRC。
在发送端,上层应⽤程序以分组形式将编码后的媒体数据传给RTP通信模块,作为RTP报⽂的有效载荷,RTP通信模块将根据上层应⽤提供的参数在有效载荷前添加RTP报头,形成RTP报⽂,通过Socket接⼝选择UDP协议发送出去。
在接收端,RTP通信模块通过Socket接⼝接收到RTP报⽂后,将RTP报头分离出来作相应处理,再将RTP报⽂的有效载荷作为数据分组传递给上层应⽤。
同步信源(SSRC)标识符:占32位,⽤于标识同步信源。该标识符是随机选择的,参加同⼀视频会议的两个同步信源不能有相同的SSRC。
特约信源(CSRC)标识符:每个CSRC标识符占32位,可以有0~15个。每个CSRC标识了包含在该RTP报⽂有效载荷中的所有特约信源。
这⾥的同步信源是指产⽣媒体流的信源,例如⻨克⻛、摄像机、RTP混合器等;它通过RTP报头中的⼀个32位数字SSRC标识符来标识,⽽不依赖于⽹络地址,接收者将根据SSRC标识符来区分不同的信源,进⾏RTP报⽂的分组。
特约信源是指当混合器接收到⼀个或多个同步信源的RTP报⽂后,经过混合处理产⽣⼀个新的组合RTP报⽂,并把混合器作为组合RTP报⽂的 SSRC,⽽将原来所有的SSRC都作为CSRC传送给接收者,使接收者知道组成组合报⽂的各个SSRC。
若⼀个RTP包流的源,对由RTP混频器⽣成的组合流起了作⽤,则它就是⼀个作⽤源。对特定包的⽣成起作⽤的源,其SSRC标识符组成的列表,被混频器插⼊到包的RTP报头中。这个列表叫做CSRC表。⽤图表示⼤概是这样:
例如,有三个信号源各发出⼀路rtp流,RTP1携带的SSRC是SSRC1,RTP2携带的SSRC是SSRC2,RTP3携带SSRC3,这三路RTP流到达混合器时,混合器会将这三路流混合成⼀路流发出去,它会把这三路流的SSRC记录下来,形成⼀个列表,叫CSRC表,在发送的混合RTP流中,SSRC域填充的字段是混合器本身的SSRC4,⽽CSRC字段则会根据该包的负载的源来填⼊。
例如当前的RTP包的负载是来⾃SSRC1的,那么在当前RTP包的CSRC字段填⼊SSRC1。
这样接收者就可以根据CSRC来区分不同的信源;
⼀般的,混合的RTP流中,每隔⼀段时间,就会有⼀个RTP报⽂包含了完整的CSRC表。例如在发送混合流时的第⼀个RTP包,它的CSRC域把CSRC表都填⼊,此时该包的负载可能是⽆意义或者并不是媒体流;此后的RTP报⽂中则根据负载的来源来填⼊CSRC域。