WebRTC
WebRTC实现了跨平台的音视频通话
WebRTC的架构
image.png
WebRTC的底层代码是C++实现的 并通过封装提供了iOS Android接口
WebRTC的接入
是否需要下载编译WebRTC源代码
1.如果只是为了集成使用WebRTC的标准API 其实没有必要下载编译WebRTC代码 因为下载编译并不容易
2.除非是为了修改WebRTC的实现
比如Android平台接入时通常都是使用maven的webrtc库,会将视频帧直接渲染到GLSurfaceview,假设我们需要处理视频帧,可以修改webrtc代码 增加获取收到的remote stream的视频帧的接口
不同平台的接入
iOS : github上有编译好的的WebRTC framework
Android : maven上有编译好的WebRTC libjingle_peerconnection.so
浏览器 : JS接口可以直接调用WebRTC API,前提是浏览器支持(chrome,firefox...)
桌面 : WebRTC的跨平台C++接口
WebRTC连接流程
image.png
流程可以大致总结为 :
Stun Server : 用来获取Ice Candidate,Client会和Stun Server交互 从而获取到自己的Ice Candidate(p2p使用)
Signal Server : 转发信令到另一Client
1. ClientA发起Offer
2. ClientB收到Offer 回复Answer
3. ClientA和ClientB发送各自的Ice Candidate给对方 并将接收到的Ice Candidate设置到PeerConnection
任何WebRTC的应用都必须遵守这个流程并确保正确
如果应用时发现无法连接到另外的WebRTC客户端,说明这上面的流程发生了错误 可以一条条检查
附上我的一次WebRTC连接失败的错误分析过程 :
WebRTC 连接失败的分析和定位
WebRTC对象的抽象
1. WebRTC以PeerConnection代表一个连接 显然一个WebRTC的客户端可以拥有多个PeerConnection连接
2. 一个PeerConnection通常带有两个MediaStream 本地的LocalStream和收到的RemoteStream
特殊的单向应用中(比如WebRTC摄像头)可能只有LocalStream 发送给远端
3. 一个MediaStream通常带有一个VideoTrack和一个AudioTrack
MediaStream的组成会影响到Offer和Answer的协商内容(实际上就是SDP)
接入WebRTC的参考
1. 官方的apprtc https://github.com/webrtc/apprtc
2. 移动端的demo
AndroidRTC ：https://github.com/pchab/AndroidRTC.git
iOSRTC ：https://github.com/digixtechnology/iOSRTC.git
ProjectRTC : https://github.com/pchab/ProjectRTC.git
