MediaCodec 可以用来获得安卓底层的多媒体编码，可以用来编码和解码，它是安卓 low-level 多媒体基础框架的重要组成部分。那为什么不选择FFmpeg来做视频编解码，由于在处理的过程中速率太慢，且需要在解码后快速展示，所以选择MediaCodec。通常和 MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface和AudioTrack 一起使用。
MediaCodec大致来说处理输入数据以生成输出数据。 它异步处理数据，并使用一组输入和输出缓冲区。 生成一个空的输入缓冲区，将其填充数据并将其发送到编解码器进行处理。 编解码器用完了数据并将其转换为空的输出缓冲区之一。 将已填充的输出缓冲区给用户，最后将其释放回编解码器。
一、数据类型
编解码器支持的数据类型： 压缩的音视频据、原始音频数据和原始视频数据。
- 数据通过ByteBuffers类来表示。
- 可以设置Surface来获取/呈现原始的视频数据，Surface使用本地的视频buffer，不需要进行ByteBuffers拷贝。可以让编解码器的效率更高。
- 通常在使用Surface的时候，无法访问原始的视频数据，但是可以使用ImageReader访问解码后的原始视频帧。在使用ByteBuffer的模式下，可以使用Image类和getInput/OutputImage(int)获取原始视频帧。
压缩数据：
- MediaFormat#KEY_MIME格式类型。
- 对于视频类型，通常是一个单独的压缩视频帧。
- 对于音频数据，通常是一个单独的访问单元(一个编码的音频段通常包含由格式类型决定的几毫秒的音频)，但是这个要求稍微宽松一些，因为一个buffer可能包含多个编码的音频访问单元。
- 在这两种情况下，buffer都不会在任意字节边界上开始或结束，而是在帧/访问单元边界上开始或结束，除非它们被BUFFER_FLAG_PARTIAL_FRAME标记。
原始音频buffers
原始音频buffer包含PCM音频数据的整个帧，这是每个通道按通道顺序的一个样本。每个样本都是一个 AudioFormat#ENCODING_PCM_16BIT。
原始视频buffers
在ByteBuffer模式下，视频buffer根据它们的MediaFormat#KEY_COLOR_FORMAT进行布局。可以从getCodecInfo(). MediaCodecInfo.getCapabilitiesForType.CodecCapability.colorFormats获取支持的颜色格式。视频编解码器可以支持三种颜色格式:
- native raw video format: CodecCapabilities.COLOR_FormatSurface，可以与输入/输出的Surface一起使用。
- flexible YUV buffers 例如CodecCapabilities.COLOR_FormatYUV420Flexible， 可以使用getInput/OutputImage(int)与输入/输出Surface一起使用，也可以在ByteBuffer模式下使用。
- other, specific formats: 通常只支持ByteBuffer模式。有些颜色格式是厂商特有的，其他定义在CodecCapabilities。对于等价于flexible格式的颜色格式，可以使用getInput/OutputImage(int)。
从Build.VERSION_CODES.LOLLIPOP_MR1.开始，所有视频编解码器都支持flexible的YUV 4:2:0 buffer。
二、MediaCodec API简介
MediaCodec 主要的API做一个介绍：
-
MediaCodec创建：
- createDecoderByType/createEncoderByType：根据特定MIME类型(如"video/avc")创建codec。
- createByCodecName：知道组件的确切名称(如OMX.google.mp3.decoder)的时候，根据组件名创建codec。使用MediaCodecList可以获取组件的名称。
configure：配置解码器或者编码器。
start：成功配置组件后调用start。
-
buffer处理的接口：
- dequeueInputBuffer：从输入流队列中取数据进行编码操作。
- queueInputBuffer：输入流入队列。
- dequeueOutputBuffer：从输出队列中取出编码操作之后的数据。
- releaseOutputBuffer：处理完成，释放ByteBuffer数据。
- getInputBuffers：获取需要编码数据的输入流队列，返回的是一个ByteBuffer数组。
- getOutputBuffers：获取编解码之后的数据输出流队列，返回的是一个ByteBuffer数组。
flush：清空的输入和输出端口。
stop：终止decode/encode会话
release：释放编解码器实例使用的资源。
三、使用流程
- MediaCodec创建
- configure传入配置数据
- MediaCodec.start()启动转码
- dequeueInputBuffer填充数据
- getOutputBuffer获取ByteBuffer数据
- releaseOutputBuffer释放数据
MediaCodec创建
- 可以使用MediaCodecList为特定的媒体格式创建一个MediaCodec。
- 可以从MediaExtractor#getTrackFormat获得track的格式。
- 使用MediaFormat#setFeatureEnabled注入想要添加的任何特性。
- 然后调用MediaCodecList#findDecoderForFormat来获取能够处理该特定媒体格式的编解码器的名称。
- 最后，使用createByCodecName(字符串)创建编解码器。
- 还可以使用createDecoder/EncoderByType(java.lang.String)为特定MIME类型创建首选的编解码器。但是，这不能用于注入特性，并且可能会创建一个不能处理特定媒体格式的编解码器。
configure传入配置数据
在创建好 MediaCodec 之后，需要对其进行设置，这样 MediaCodec 的状态就可以由 uninitialized 变成 configured
public void configure(
@Nullable MediaFormat format,
@Nullable Surface surface, @Nullable MediaCrypto crypto,
@ConfigureFlag int flags) {
configure(format, surface, crypto, null, flags);
}
public void configure(
@Nullable MediaFormat format, @Nullable Surface surface,
@ConfigureFlag int flags, @Nullable MediaDescrambler descrambler) {
configure(format, surface, null,
descrambler != null ? descrambler.getBinder() : null, flags);
}
MediaFormat format：输入数据的格式(解码器)或输出数据的所需格式(编码器)。传null等同于传递MediaFormat#MediaFormat作为空的MediaFormat。
Surface surface：指定Surface，用于解码器输出的渲染。如果编解码器不生成原始视频输出(例如，不是视频解码器)和/或想配置解码器输出ByteBuffer，则传null。
MediaCrypto crypto：指定一个crypto对象，用于对媒体数据进行安全解密。对于非安全的编解码器，传null。
int flags：当组件是编码器时，flags指定为常量CONFIGURE_FLAG_ENCODE。
MediaFormat, 如果某些参数没有设置的话，会导致 MediaCodec 抛出 IllegalStateException.
Video 所必须的 Format Setting
| Encoder | Decoder | |
|---|---|---|
| KEY_MIME | ✔️ | ✔️ |
| KEY_BIT_RATE | ✔️ | ❌ |
| KEY_WIDTH | ✔️ | ✔️ |
| KEY_HEIGHT | ✔️ | ✔️ |
| KEY_COLOR_FORMAT | ✔️ | ❌ |
| KYE_FRAME_RATE | ✔️ | ❌ |
| KEY_I_FRAME_INTERVAL | ✔️ | ❌ |
Audio 所必须的 Format Setting
| Encoder | Decoder | |
|---|---|---|
| KEY_MIME | ✔️ | ✔️ |
| KEY_BIT_RATE | ✔️ | ❌ |
| KEY_CHANNEL_COUNT | ✔️ | ✔️ |
| KEY_SAMPLE_RATE | ✔️ | ✔️ |
//视频格式
// 类型（avc高级编码 h264） 编码出的宽、高
MediaFormat mediaFormat = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, mWidth, mHeight);
//参数配置
// 1500kbs码率
mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 1500_000);
//帧率
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 20);
//关键帧间隔
mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 20);
//颜色格式（RGB\YUV）
//从surface当中回去
mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
//编码器
mMediaCodec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);
//将参数配置给编码器
mMediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
MediaCodec.start
mMediaCodec.start();
dequeueInputBuffer
//结合MediaMuxer去使用
//在初始化的时候调用
//封装器 复用器
// 一个 mp4 的封装器 将h.264 通过它写出到文件就可以了
mMediaMuxer = new MediaMuxer(mPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
//输出缓冲区
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
//等待10 ms
int status = mMediaCodec.dequeueOutputBuffer(bufferInfo, 10_000);
//让我们重试 1、需要更多数据 2、可能还没编码为完（需要更多时间）
if (status == MediaCodec.INFO_TRY_AGAIN_LATER) {
} else if (status == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
//开始编码 就会调用一次
MediaFormat outputFormat = mMediaCodec.getOutputFormat();
//配置封装器
// 增加一路指定格式的媒体流 视频
index = mMediaMuxer.addTrack(outputFormat);
mMediaMuxer.start();
} else if (status == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {
//忽略
} else {
//成功 取出一个有效的输出
ByteBuffer outputBuffer = mMediaCodec.getOutputBuffer(status);
//如果获取的ByteBuffer 是配置信息 ,不需要写出到mp4
if ((bufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0) {
bufferInfo.size = 0;
}
if (bufferInfo.size != 0) {
//mSpeed是一个倍数默认是1
bufferInfo.presentationTimeUs = (long) (bufferInfo.presentationTimeUs / mSpeed);
//写到mp4
//根据偏移定位
outputBuffer.position(bufferInfo.offset);
//ByteBuffer 可读写总长度
outputBuffer.limit(bufferInfo.offset + bufferInfo.size);
//写出
mMediaMuxer.writeSampleData(index, outputBuffer, bufferInfo);
}
}
| status | 说明 |
|---|---|
| MediaCodec.INFO_TRY_AGAIN_LATER | 1、需要更多数据 2、可能还没编码为完（需要更多时间） |
| MediaCodec.INFO_OUTPUT_FORMAT_CHANGED | 开始编码 就会调用一次 |
| MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED | 这个方法过时了，忽略 |
getOutputBuffer
//成功 取出一个有效的输出
ByteBuffer outputBuffer = mMediaCodec.getOutputBuffer(status);
使用此方法将输出buffer返回给codec或将其渲染在输出surface。
releaseOutputBuffer
public void releaseOutputBuffer (int index,
boolean render)
-
boolean render：如果在配置codec时指定了一个有效的surface，则传递true会将此输出buffer在surface上渲染。一旦不再使用buffer，该surface将把buffer释放回codec。
总结
学完了MediaCodec和MediaMuxer我们可以结合使用，做一个视频录制的小功能，也可以加上OpenGL一起，主要是利用MediaCodec.createInputSurface();获得一个Surface，就会自动编码 inputSurface 中的图像，交给虚拟屏幕 通过opengl 将预览的纹理 绘制到这一个虚拟屏幕中
