使用 adm 方式
1. adm 的AudioDeviceGeneric类型成员变量的 RecThreadProcess 方法
- 拷贝数据到 _ptrAudioBuffer(class AudioDeviceBuffer) --> SetRecordedBuffer()
- 调用 _ptrAudioBuffer(class AudioDeviceBuffer) 的数据传递方法 --> DeliverRecordedData()
2. AudioDeviceBuffer 的 DeliverRecordedData 方法
- 一些音频数据长度,延迟的计算,然后将数据传递到 audio_transport_cb 的 RecordedDataIsAvailable()
3. file:audio_transport_impl.cc,class:AudioTransportImpl,fun:RecordedDataIsAvailable
- 该类是在webrtc_audio_engine 的 audio_state 里面构造的
-
InitializeCaptureFrame()
构造AudioFrame结构体音频数据 -
RemixAndResample()
使用系统mixer模块,对输入音频进行混流处理 -
ProcessCaptureFrame()
使用process模块,对输入音频做前置处理 - 发送AudioFrame给所有的 send stream (class AudioSendStream)
这里第一路send stream 用的是原始audio_frame,其他路分别是拷贝的audio_frame
4. file:audio_send_stream.cc,class:AudioSendStream,fun:SendAudioData(std::unique_ptr<AudioFrame> audio_frame)
- 调用channel_send_(class ChannelSend) 的 ProcessAndEncodeAudio 方法
5. file:channel_send.cc,class:ChannelSend,fun:ProcessAndEncodeAudio(std::unique_ptr<AudioFrame> audio_frame)
- 通过encoder_queue.PostTask 发送队列任务,转调用到 ProcessAndEncodeAudioOnTaskQueue() 方法
- 根据控制参数,调用Mute()来静音数据
- 调用audio_coding_ 的 Add10MsData() 方法
6. file: audio_coding_module.cc,class:AudioCodingModuleImpl,fun:Add10MsData(const AudioFrame& audio_frame)
6.1 调用this的Add10MsDataInternal() 方法
- (1)
HaveValidEncoder
检测是否有相应的编码器 - (2)
PreprocessToAddData()
音频通道根据编码器支持,向下调整,或者重采样 - (3) 再次检查是否需要向下,或者向上通道个数调整
- (4) 让后将数据拷贝到input_data 里面
6.2 调用this的Encode()方法
-
(1) 调用encoder_stack_ 的 Encode()方法
- file:audio_encode.cc,class:AudioEncoder,fun:Encode()
- file:audio_encode.cc,class:AudioEncoder,fun:EncodeImpl()
调用this的EncodeImpl(rtp_timestamp, audio, encoded)
这里就是调用具体的编码器方法了,举个例子,比如audio_encoder_opus.cc 的opus 编码,编码后数据传到encoded参数里面
- file:audio_encode.cc,class:AudioEncoder,fun:EncodeImpl()
- file:audio_encode.cc,class:AudioEncoder,fun:Encode()
(2) 调用packetization_callback_ 的 SendData()方法
7. file:channel_send.cc,class:ChannelSend,fun:SendData(AudioFrameType ,uint8_t ,uint32_t ,const uint8_t* ,size_t )
8. file:channel_send.cc,class:ChannelSend,fun:SendRtpAudio(AudioFrameType ,uint8_t ,uint32_t ,rtc::ArrayView<const uint8_t>)
-
frame_encryptor_->Encrypt()
如果有加密处理,那么久在这里处理加密 - _rtpRtcpModule 的 OnSendingRtpFrame() 方法 . 里面就是一些rtcp 报告信息的发送
- rtp_sender_audio_ 的 SendAudio() 方法
9. file:rtp_sender_audio.cc,class:RTPSenderAudio,fun:SendAudio()
这里已经是RTP/RTCP-module 模块的内容了,传输模块了
使用 adm 方式
1. 进入 AudioSourceInterface 接口的实现类,调用sindk_ 的OnData() 方法
2. file:rtp_sender.cc,class:LocalAudioSinkAdapter,fun:OnData
3. file:webrtc_voice_engine.cc,class:WebRtcAudioSendStream,fun:OnData()
5. file:audio_send_stream.cc,class:AudioSendStream,fun:SendAudioData(std::unique_ptr<AudioFrame> audio_frame)
这一步就和adm 方式的第4步一致了,后面的步骤就是一样的了