最近一年多来，做关于音视频模块的开发，主要是基于webrtc的二次开发，现在来分享一些关于webrtc的开发体会！由于本人是从android端入手的，对于webrtc，采集，渲染部分因平台而异，而编码，音视频传输，gcc，解码，jitterbuffer属于跨平台，这里我从android端采集开始：
android端采集流程分析：
interface CameraEnumerator.java
创建VideoCapturer.java接口，分别由CameraEnumerator1.java和CameraEnumerator2.java实现，CameraEnumerator1.java实现Camera1Capturer.java,CameraEnumerator2.java实现Camera2Capturer.java;
Interface VideoCapturer.java
在VideoCapturer.java分别通过Camera1Capturer和Camera2Capturer创建Camera1Session.java和Camera2Session.java
Class Camera1Session
使用camera 1.0 api对数据的采集
Class Camera2Session
使用camera 2.0 api对数据的采集
Create（）对camera根据传进来的属性，设置采集摄像头前后置，图像宽高，帧率等属性，这里注意一点，camera.addCallbackBuffer（byte[]）减少频繁的gcc，具体原理请百度
camera得到的数据分为两种方式，一种是得到视频的纹理，一种是得到视频数据的byte[]，对此，得到数据的下一步会进行渲染和编码处理，此时经过AndroidVideoTrackSourceOberver.java将数据传入底层，那么数据是如何进行下一步渲染和编码发送的呢？
对于编码，数据传入底层之后，由webrtc引擎进行编码发送，这个我们后面再进行分析，先分析渲染这一模块，这个是与平台相关的；
我们先要理解数据绑定的原理：
对于webrtc中，传输数据按照MediaStream流来传输，而一个MediaStream可以添加多路音频（audiotrack）和视频(videotrack)，track是由source创建，这样webrtc通过videocaptuer创建出音频视频的source，从来创建音频视频的数据载体track，添加到Meidastream上进行传递，此时track代表某特定设备的音频或视频数据，此时，如何区分到数据的唯一性，此时webrtc通过Sink这个载体进行区分，那么理解了这些概念之后，我们开始来学习一下代码，研究一下webrtc在这点上面的设计；
AndroidVideoTrackSourceOberver.java中通过native方法 ,将采集到的数据或者问题传入底层，首先经过androidvideotracksource_jni.cc调用AndroidVideoTrackSouce.cc,
AndroidVideoTrackSouce.cc这里首先对数据进行旋转，裁剪缩放处理之后，组装成VideoFrame传递到底层adapterdvideotracksource.cc onframe(),然后通过broadcaster进行分发，然后通过Sink进行传递，反馈到渲染和编码线程;
对于渲染模块我们下一节细细分析，现在我们查看编码线程数据如何继续传递
EncoderTask线程对数据进行编码 下面对数据的流水线如下
Video_stream_encoder.cc EncodeVideoFrame() video_sender.cc AddVideoFrame()这里会根据码率和帧率进行丢帧处理 generic_encoder.cc encode() VCMEncodedFrameCallback::OnEncodedImage() video_send_stream.cc payload_router.cc rtp_rtcp_impl.cc(SendOutgoingData()) RtpSender.cc RTPSenderVideo.cc sendVideo 这里进行rtp数据的组装，fec组装 sendToNetwork() pased_sender inserpacket(塞入到发送缓冲区) 进行平滑发送 PacketRouter::TimeToSendPacket()
PacedSender::Process()线程进行发送
发送通过buget进行带宽探测，如果小于则用padding进行补充
这个为发送端的流程，里面有大量技术点，后面一一分析
接收端流程如下
Channel.cc ProcessPacket() 区分rtcp和rtp webrtcvideoengine.ccOnPackerReceived() call.cc deliverRtp 区分audio还是video rtp_video_stream_receiver.cc OnRtpPacket()接收数据 这里分为两部分，第一部分塞入到缓冲区jitterbuffer
,同时这里需要对数据进行统计（buildrr需要用到的数据，接收到数据的总数和重传包的总数，提供给sender计算丢包率 updateCounter()如何判断是重传包，与rtt有关，后面再讲）rtp_receiver_impl.cc incomingRtpPacket() rtp_receiver_video.cc ParseRtpPacket() 解析数据(codec
payload_data_lenth 然后通过 RtpDepacketizer进行解包) packet_buffer insertPacket(&packet)进入到jitterbuffer模块 ，buffer用于缓存，报错数据rtp组包，丢包重传，jitter在解码处对延时（上一帧和此帧时间延迟，通过卡尔滤波算法进行计算延时估算码率），流程大致就是这样，后面再对没个技术点进行剖析
