开篇
在学习了《Android使用OpenGL渲染ffmpeg解码的YUV数据》一文之后，我们的播放器计划对于视频的处理暂时先告一段落。后面的几篇文章我们主要介绍ffmpeg解码音频并且搭配AudioTrack以及OpenSLES播放PCM原始音频数据。
音频解码
对于使用ffmpeg进行音视频的解码过程，我们来回忆一下这张图：
ffmpeg解码过程
其实音频的解码和视频的解码差不多，同样要经过解封装，获取流索引、初始化解码器上下文、打开解码器、av_read_frame读取包数据、avcodec_send_packet发送到解码器进行解码、avcodec_receive_frame接收解码器数据，这几个过程。
不同的是，视频在avcodec_receive_frame接收到解码数据是YUV，需要经历YUV转换成RGB渲染出来。对于YUV不了解的同学，可参考一下这篇文章《Android使用ffmpeg解码视频为YUV》。
而对于音频则在avcodec_receive_frame接收到的解码数据是PCM原始声音数据，而一般PCM数据都是无法直接播放的，要按照播放的设备标准进行重采样之后生成新的PCM数据才能在特定的设备上播放。例如你解码出来的PCM数据是32位的，但是你的设备只支持16位，这就需要重采样了。又比如说你的设备只支持播放44100的采样率的，而你解码出来的PCM却不是44100的采样率，那也是需要重采样的，当然实际情况不止这两种，这就是重采样的意义所在。
对于音频的重采样主要使用的是ffmpeg的swr_convert函数，重采样的主要代码：
.....省略若干代码
//准备音频重采样的参数
int dataSize = av_samples_get_buffer_size(NULL, av_get_channel_layout_nb_channels(AV_CH_LAYOUT_STEREO) , cc_ctx->frame_size,AV_SAMPLE_FMT_S16, 0);
uint8_t *resampleOutBuffer = (uint8_t *) malloc(dataSize);
//音频重采样上下文初始化
SwrContext *actx = swr_alloc();
actx = swr_alloc_set_opts(actx,
AV_CH_LAYOUT_STEREO,
AV_SAMPLE_FMT_S16,44100,
cc_ctx->channels,
cc_ctx->sample_fmt,cc_ctx->sample_rate,
0,0 );
re = swr_init(actx);
if(re != 0)
{
LOGE("swr_init failed:%s",av_err2str(re));
return re;
}
.....省略若干代码
//这里为什么要使用一个for循环呢？
// 因为avcodec_send_packet和avcodec_receive_frame并不是一对一的关系的
//一个avcodec_send_packet可能会出发多个avcodec_receive_frame
for (;;) {
// 接受解码的数据
re = avcodec_receive_frame(cc_ctx, frame);
if (re != 0) {
break;
} else {
//音频重采样
int len = swr_convert(actx,&resampleOutBuffer,
frame->nb_samples,
(const uint8_t**)frame->data,
frame->nb_samples);
}
}
使用AudioTrack播放PCM
对于AudioTrack如何使用还不了解的同学建议先自行谷歌学习一下，也就是几个简单的API，这里就不多做介绍了。
因为ffmpeg的解码是在JNI代码中执行的，所以我们直接在JNI通过反射调用Java的方法构造出AudioTrack对象，然后传递数据给AudioTrack对象即可实现播放。
JNI构建AudioTrack对象代码：
// JNI创建AudioTrack
jclass jAudioTrackClass = env->FindClass("android/media/AudioTrack");
jmethodID jAudioTrackCMid = env->GetMethodID(jAudioTrackClass,"<init>","(IIIIII)V"); //构造
// public static final int STREAM_MUSIC = 3;
int streamType = 3;
int sampleRateInHz = 44100;
// public static final int CHANNEL_OUT_STEREO = (CHANNEL_OUT_FRONT_LEFT | CHANNEL_OUT_FRONT_RIGHT);
int channelConfig = (0x4 | 0x8);
// public static final int ENCODING_PCM_16BIT = 2;
int audioFormat = 2;
// getMinBufferSize(int sampleRateInHz, int channelConfig, int audioFormat)
jmethodID jGetMinBufferSizeMid = env->GetStaticMethodID(jAudioTrackClass, "getMinBufferSize", "(III)I");
int bufferSizeInBytes = env->CallStaticIntMethod(jAudioTrackClass, jGetMinBufferSizeMid, sampleRateInHz, channelConfig, audioFormat);
// public static final int MODE_STREAM = 1;
int mode = 1;
//创建了AudioTrack
jobject jAudioTrack = env->NewObject(jAudioTrackClass,jAudioTrackCMid, streamType, sampleRateInHz, channelConfig, audioFormat, bufferSizeInBytes, mode);
//play方法
jmethodID jPlayMid = env->GetMethodID(jAudioTrackClass,"play","()V");
env->CallVoidMethod(jAudioTrack,jPlayMid);
// write method
jmethodID jAudioTrackWriteMid = env->GetMethodID(jAudioTrackClass, "write", "([BII)I");
AudioTrack构造好之后，我们在重采样PCM数据之后直接再通过JNI传递PCM数据到AudioTrack就可以播放了。
下面贴一下完整的代码：
extern "C"
JNIEXPORT jint JNICALL
Java_com_flyer_ffmpeg_FFmpegUtils_playAudio(JNIEnv *env, jclass clazz, jstring audio_path) {
const char *path = env->GetStringUTFChars(audio_path, 0);
AVFormatContext *fmt_ctx;
// 初始化格式化上下文
fmt_ctx = avformat_alloc_context();
// 使用ffmpeg打开文件
int re = avformat_open_input(&fmt_ctx, path, nullptr, nullptr);
if (re != 0) {
LOGE("打开文件失败：%s", av_err2str(re));
return re;
}
//探测流索引
re = avformat_find_stream_info(fmt_ctx, nullptr);
if (re < 0) {
LOGE("索引探测失败：%s", av_err2str(re));
return re;
}
//寻找视频流索引
int audio_idx = av_find_best_stream(
fmt_ctx, AVMEDIA_TYPE_AUDIO, -1, -1, nullptr, 0);
if (audio_idx == -1) {
LOGE("获取音频流索引失败");
return -1;
}
//解码器参数
AVCodecParameters *c_par;
//解码器上下文
AVCodecContext *cc_ctx;
//声明一个解码器
const AVCodec *codec;
c_par = fmt_ctx->streams[audio_idx]->codecpar;
//通过id查找解码器
codec = avcodec_find_decoder(c_par->codec_id);
if (!codec) {
LOGE("查找解码器失败");
return -2;
}
//用参数c_par实例化编解码器上下文，，并打开编解码器
cc_ctx = avcodec_alloc_context3(codec);
// 关联解码器上下文
re = avcodec_parameters_to_context(cc_ctx, c_par);
if (re < 0) {
LOGE("解码器上下文关联失败:%s", av_err2str(re));
return re;
}
//打开解码器
re = avcodec_open2(cc_ctx, codec, nullptr);
if (re != 0) {
LOGE("打开解码器失败:%s", av_err2str(re));
return re;
}
//数据包
AVPacket *pkt;
//数据帧
AVFrame *frame;
//初始化
pkt = av_packet_alloc();
frame = av_frame_alloc();
//音频重采样
int dataSize = av_samples_get_buffer_size(NULL, av_get_channel_layout_nb_channels(AV_CH_LAYOUT_STEREO) , cc_ctx->frame_size,AV_SAMPLE_FMT_S16, 0);
uint8_t *resampleOutBuffer = (uint8_t *) malloc(dataSize);
//音频重采样上下文初始化
SwrContext *actx = swr_alloc();
actx = swr_alloc_set_opts(actx,
AV_CH_LAYOUT_STEREO,
AV_SAMPLE_FMT_S16,44100,
cc_ctx->channels,
cc_ctx->sample_fmt,cc_ctx->sample_rate,
0,0 );
re = swr_init(actx);
if(re != 0)
{
LOGE("swr_init failed:%s",av_err2str(re));
return re;
}
// JNI创建AudioTrack
jclass jAudioTrackClass = env->FindClass("android/media/AudioTrack");
jmethodID jAudioTrackCMid = env->GetMethodID(jAudioTrackClass,"<init>","(IIIIII)V"); //构造
// public static final int STREAM_MUSIC = 3;
int streamType = 3;
int sampleRateInHz = 44100;
// public static final int CHANNEL_OUT_STEREO = (CHANNEL_OUT_FRONT_LEFT | CHANNEL_OUT_FRONT_RIGHT);
int channelConfig = (0x4 | 0x8);
// public static final int ENCODING_PCM_16BIT = 2;
int audioFormat = 2;
// getMinBufferSize(int sampleRateInHz, int channelConfig, int audioFormat)
jmethodID jGetMinBufferSizeMid = env->GetStaticMethodID(jAudioTrackClass, "getMinBufferSize", "(III)I");
int bufferSizeInBytes = env->CallStaticIntMethod(jAudioTrackClass, jGetMinBufferSizeMid, sampleRateInHz, channelConfig, audioFormat);
// public static final int MODE_STREAM = 1;
int mode = 1;
//创建了AudioTrack
jobject jAudioTrack = env->NewObject(jAudioTrackClass,jAudioTrackCMid, streamType, sampleRateInHz, channelConfig, audioFormat, bufferSizeInBytes, mode);
//play方法
jmethodID jPlayMid = env->GetMethodID(jAudioTrackClass,"play","()V");
env->CallVoidMethod(jAudioTrack,jPlayMid);
// write method
jmethodID jAudioTrackWriteMid = env->GetMethodID(jAudioTrackClass, "write", "([BII)I");
while (av_read_frame(fmt_ctx, pkt) >= 0) {//持续读帧
// 只解码音频流
if (pkt->stream_index == audio_idx) {
//发送数据包到解码器
avcodec_send_packet(cc_ctx, pkt);
//清理
av_packet_unref(pkt);
//这里为什么要使用一个for循环呢？
// 因为avcodec_send_packet和avcodec_receive_frame并不是一对一的关系的
//一个avcodec_send_packet可能会出发多个avcodec_receive_frame
for (;;) {
// 接受解码的数据
re = avcodec_receive_frame(cc_ctx, frame);
if (re != 0) {
break;
} else {
//音频重采样
int len = swr_convert(actx,&resampleOutBuffer,
frame->nb_samples,
(const uint8_t**)frame->data,
frame->nb_samples);
jbyteArray jPcmDataArray = env->NewByteArray(dataSize);
// native 创建 c 数组
jbyte *jPcmData = env->GetByteArrayElements(jPcmDataArray, NULL);
//内存拷贝
memcpy(jPcmData, resampleOutBuffer, dataSize);
// 同步刷新到 jbyteArray ，并释放 C/C++ 数组
env->ReleaseByteArrayElements(jPcmDataArray, jPcmData, 0);
LOGE("解码成功%d dataSize:%d ",len,dataSize);
// 写入播放数据
env->CallIntMethod(jAudioTrack, jAudioTrackWriteMid, jPcmDataArray, 0, dataSize);
// 解除 jPcmDataArray 的持有，让 javaGC 回收
env->DeleteLocalRef(jPcmDataArray);
}
}
}
}
//关闭环境
avcodec_free_context(&cc_ctx);
// 释放资源
av_frame_free(&frame);
av_packet_free(&pkt);
avformat_free_context(fmt_ctx);
LOGE("音频播放完毕");
env->ReleaseStringUTFChars(audio_path, path);
return 0;
}
结束
最后如果你对音视频开发感兴趣可扫码关注，笔者在各个知识点学习完毕之后也会使用ffmepg从零开始编写一个多媒体播放器，包括本地播放及网络流播放等等。欢迎关注，后续我们共同探讨，共同进步。
image
