webrtc发送端-采集和encoder建连

github:https://github.com/bigonelby/webrtcUml/tree/master/latest

webrtc-发送端-采集和encoder建连.drawio.png
  1. 这张图的内容比较多,主要涉及了:① 视频通道建立;② 传输通道建立;③ VideoRtpSender;④ 核心三剑客;⑤ pipeline下游encoder;⑥ pipeline上游track;⑦ pipline应用层

  2. 首先看看视频通道建立。也就是VideoChannel的创建。之前的图中已经知道,webrtc中的各种channel,最核心的是BaseChannel,每个BaseChannel都有一个MediaChannel。这里谈论的就是BaseChannel的创建。创建的时机实际上就是sdp协商时,对端回送answer后,本端会将answer通过SetRemoteDescription设置给webrtc底层。在这个函数中,实际上完成了很多架构上的初始化。这种offer / answer的处理,PeerConnection有个重要的助手专门处理这个事情,这个助手就是SdpOfferAnswerHandler,即会调用这个类的SetRemoteDescription进行进一步的处理。在解析sdp的过程中,如果发现有新的通道,则会通过ChannelManager进行通道的创建,即CreateVideoChannel

  3. 再来看看传输通道的建立。刚才介绍了,已经将VideoChannel创建出来了,这就意味着与之相关的MediaChannel自然也已经创建起来了。那么数据将如何传输到网络呢?就是调用VideoChannel的SetRtpTransport,从而设置发送到网络的rtptransport了。底层将采集数据编码,打包,发送时,最终调用到WebrtcVideoChannel的SendRtp和SendRtcp两个方法。这两个方法进一步调用了network_interface_的SendPacket方法。network_interface_是如何注册到VideoMediaChannel中的呢?就是用的接口SetInterface。由此可见,如果我们希望替换成自定义的transport,那么只要通过SetInterface,设置成自定义的network_interface_即可。对于原生的webrtc,实现这个接口的正是BaseChannel,因此会进一步调用BaseChannel的方法,从而通过其成员rtp_transport_进行进一步的发送,即SendRtcpPacket或SendRtpPacket。这里的rtp_transport_就是通过SetRtpTransport设置的。下面我们来看看这个rtp_transport_。这个transport实际上可以通过JsepTransport得到。关于jsep(JavaScript Session Establishment Protoco)的介绍,可以参考这篇文章:https://rtcweb-wg.github.io/jsep/。webrtc中的JsepTransport,是由控制类JsepTransportController创建的。这个transport_controller_是PeerConnection的另一名干将。其JsepTransport创建的时机,也是处理offer或answer的时候。在ApplyDescription_n的时候,会调用MaybeCreateJsepTransport,从而创建了JsepTransport

  4. 再进一步向后分析之前,我们必须再熟悉一下三剑客:即VideoMediaChannel,WebrtcVideoChannel和VideoChannel。实际上VideoChannel是一个BaseChannel,每个BaseChannel都有一个MediaChannel,实现这个MediaChannel接口的,为VideoMediaChannel,WebrtcVideoChannel实现了VideoMediaChannel的接口。因此可以理解为VideoChannel有一个成员是WebrtcVideoChannel。为什么是MediaChannel呢?即媒体通道,显然这个通道和媒体相关,因此其职责就是接收采集的数据,进行编码,打包,最后通过网络层发送。如何通过网络层发送,上面已经介绍了,最终通过rtp_transport_。下面我们看看采集数据是如何流入到这个MediaChannel中的。

  5. 到这里就需要介绍一下VideoRtpSender了。这个类是连接采集数据和媒体通道的关键。不过,这个对象也不是独立存在的,类似的,还有VideoRtpReceiver,这两个组员统一归RtpTransceiver管理,而管理RtpTransceiver的,自然也是一个Manager,就是RtpTransmissionManager,这又是PeerConnection的得力助手。应用可以通过AddTransceiver增加新的transceiver。PeerConnection的这个方法接收一个MediaStreamTrackInterface,这是一个mediastreamtrack,这个track非常重要,实际上这个track就是数据的源头,比如track里可以包含一个camera的采集数据。注意到MediaStreamTrackInterface本身并不是一个source,但是通过其方法kind()就可以知道他的具体类型了。比如视频,那么他的多态子类就是VideoTrackInterface,这个VideoTrackInterface可是一个地地道道的VideoSourceInterface,也就是说这个track的本质就是一个source。这个对后面数据流pipeline的理解非常重要。好了,我们回过头来继续看PeerConnection的AddTransceiver,看看究竟做了什么事情。具体的工作由rtp_manager_完成,即RtpTransmissionManager完成。首先CreateSender,CreateReceiver,接着就可以CreateAndAddTransceiver。由此可见,VideoRtpSender实际上是由RTPTransmissionManager创建的。VideoRtpSender重要意义在于,他起到了承上启下的作用。左手边是数据源,即MediaStreamTrackInterface,通过SetTrack方法绑定;右手边是MediaChannel,通过SetMediaChannel绑定。最后通过调用WebrtcVideoChannel的SetVideoSend方法,将数据源(video track)和媒体通道(media channel)绑定到一起。

  6. 至此,我们重要可以看看数据流的整个pipeline了。首先看看pipeline下游encoder,通过WebrtcVideoChannel的SetVideoSend方法设置,这个方法实际上传入了一个VideoSourceInterface。我们已经知道,这个VideoSourceInterface实际上就是VideoTrack了,后面再详细介绍。WebrtcVideoChannel进一步通过WebRtcVideoSendStream的SetVideoSend方法,将此VideoSourceInterface设置到底层,这个指令,通过VideoSendStream,VideoStreamEncoder,最终到达了VideoSourceSinkController的SetSource。这个VideoSourceSinkController,顾名思义,是source和sink的控制器。因此管理了source和sink,并将source和sink相互绑定,数据流将会从source中流入到sink。对于VideoSourceSInkController而言,其sink_就是VideoStreamEncoder。而source就是通过SetSource接口设置下来的,即VideoTrack。这样,通过VideoSOurceSinkController的牵线,VideoTrack中的采集数据,就流到了编码器中,从而进行进一步的编码。

  7. 我们再看看pipeline的上游track。之前已经反复介绍了,传入到WebrtcVideoChannel的source,本质上就是VideoTrack。这个VideoTrack是通过PeerConnection的AddTransceiver方法设置进来的,并由VideoRtpSender设置到WebrtcVideoChannel中。上层传入的实际上是MediaStreamTrackInterface,其本身并不是VideoSourceInterface。但是根据其kind,可以判断出具体的类型,比如video,那么我们就知道这个子类就是VideoTrackInterface,而这个就是一个VideoSourceInterface了。我们看看图中有各种各样的VideoSourceInterface。实际上简单而言,就是三个对象,即VideoTrack,和其成员AdaptedVideoTrackSource,以及VideoBroadcaster。设置到底层的是VideoTrack,VideoTrack在进行sink绑定即AddOrUpdateSink时,也会通知其成员video_source_进行相应的sink更新,具体而言,子类就是AdaptedVideoTrackSource,而AdaptedVideoTrackSource也会将次重要事情告诉其成员broadcaster_,这是一个VideoBroadcaster,因此VideoStreamEncoder相当于最终绑定到了这个VideoBroadcaster的sinks_下。因此采集到的,并流入到AdaptedVideoTrackSource视频数据,就会通过VideoBroadcaster流入到编码器VideoStreamEncoder中,从而进行编码了

  8. 最后看看pipline应用层。上层RTCVideoSource实现了RTCVideoCapturerDelegate,采集的视频帧将会通过这个delegate,源源不断的流入到RTCVideoSource中,RTCVideoSource进一步将数据送给了底层类ObjCVideoTrackSource,通过其OnCapturedFrame方法,将视频帧送入。而ObjVideoTrackSource其本质就是一个AdaptedVideoTrackSource,因此,可以进一步通过VideoAdapter将采集的视频帧进行adapter,并将adapter后的帧通过OnFrame进一步处理,这个视频帧由此进入到VideoBroadcaster中,并最终流入到VideoStreamEncoder

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350

推荐阅读更多精彩内容