Mediacodec学习第一篇 -- EXOPlayer

1 学习前准备及关键问题思考

1. 视频流硬解(至少自己完成本地视频的视频流硬解代码实现)
2. 音频硬解(至少自己完成完成本地视频的音频硬解代码实现)
3. 如何保证硬解情况下音视频同步
4. 应对网络视频流的硬解方案
5. MediaCodec的播控及播控状态机

主体框架思路

2 源码分析

源码位置
https://github.com/google/ExoPlayer

1.从应用层由上而下分析

源码结构

library是google ExoPlalyer核心库文件，可基于该SDK快速的完成二次开发。demo是基于该library的官方应用，告诉开发人员如何在自己应用中使用ExoPlalyer SDK。

由于个人开发习惯，所有源码放在了Source Insight中来方案查看

便于代码跟踪

demo中SampleChooserActivity.java基于两种启动方式，播放本地视频的URL和基于解析asset目录下media.exolist.json来测试播放网络视频流的硬解(网络视频流的硬解后面再作分析)，在SampleChooserActivity.java中创建出视频列表，初始化事件响应，当选择播放某个视频时调用PlayerActivity.java:

DataSource的UML类图

在PlayerActivity生命周期onResume时,初始化播放器initializePlayer()

播放器实例化

创建音视频解码器

在MediaCodecRenderer中开始看到框架已经涉及到Android 的MediaCodec实例了。
核心类ExoPlayerImpl：
'player = new ExoPlayerImpl(renderers, trackSelector, loadControl);'
核心类ExoPlayerImplInternal：
'internalPlayer = new ExoPlayerImplInternal(renderers, trackSelector, loadControl, playWhenReady, eventHandler, playbackInfo, this);'

播放资源处理

以HLS文件为例：

播放资源处理完毕，播放器进入prepare阶段:

核心类ExoPlayerImplInternal消息处理：

注意在此阶段MediaSource对播放资源prepare：
如果是HLS资源则对应之前分析的HLSMediaSource:

MediaSource类图

HlsPlaylistParser实现了对HLS数据包报文解析；

创建了一个网络数据缓冲线程

在Player prepare时开始loader的startLoading

Year~ 看到线程去处理HLS数据包了。

Task的run处理

ParsingLoadable::load

在ParsingLoadable的load方法可以看到和前面分析的DataSource流程关联起来了,可以再根据之前分析的DataSource类图看看都做了什么处理。

以HttpDataSource为例来说open阶段处理http交互：

DefaultHttpDataSource::open

最终connect处理

这样就完成了http基本请求。那open成功最终获得了什么？

Paste_Image.png

继续返回ParsingLoadable::load方法中，open完成后ParsingLoadable::Parser完成数据解析，下面以HLS为例(可以返回MediaSource的类图中看看HlsPlaylistParser，它是ParsingLoadable::Parser的实现类)

HlsPlaylistParser通过HttpDataSource读取数据

再回到Loader的run()方法中，loadable.load()后通过发送MSG_END_OF_SOURCE的消息回调给调用者

Loader消息处理

HlsPlaylistTracker:onLoadCompleted

loadable.getResult()则就是HlsPlaylistParser::parser的结果。
ExoPlayerImplInternal::prepareInternal最后发送MSG_DO_SOME_WORK的消息。

doSomeWork

在MSG_DO_SOME_WORK消息处理中：renderer::render

MediaCodecRenderer:render

MediaCodecRenderer:maybeInitCodec来初始化和配置MediaCodec

render中的核心方法：drainOutputBuffer、feedInputBuffer

drainOutputBuffer

feedInputBuffer

BaseRenderer::readSource

BaseRenderer::readSource把网络数据读取到DecoderInputBuffer中。

MediaCodecRenderer子类中buffer数据渲染

当drainOutputBuffer的数据渲染结束后通过feedInputBuffer来填充数据区
注意在feedInputBuffer实现中先通过dequeueInputBuffer获得当前inputBuffer有效的索引值，然后通过readSource获取资源数据填充到索引值对应的buffer中，最后通过queueInputBuffer在通知MediaCodec索引值对应区的buffer已经处理好了，完成了渲染数据的准备。

而在ExoPlayerImplInternal::doSomeWork中通过render:render调用dequeueOutputBuffer，最终调用releaseOutputBuffer释放outBuffer完成解码，再通过ExoPlayerImplInternal::scheduleNextWork不断的消息回调到doSomeWork继续接收数据和解码数据直到操作终止。

通过Handler消息不断完成render动作

关于MediaCodec需要重点理解的几个方法：
dequeueInputBuffer
queueInputBuffer
dequeueOutputBuffer
releaseOutputBuffer
第一阶段先分析到此处，还没来得及细致的分析音视频同步，后续会分析更新，按计划下一阶段会结合VLC-Android对rtsp及组播方案的支持扩展EXOPlayer并陆续更新文章。