MediaCodec 编码后的数据使用 FFmpeg 进行封装

由于使用 MediaMuxer 进行文件封装不支持边转码边分块,所以选择通过使用 FFmpeg muxer 进行文件封装, 在封装过程中完成文件的分块。

FFmpeg 音视频复用器(Muxer)

音视频封装 - 将视频压缩数据(例如H.264)和音频压缩数据(例如AAC)合并到一个封装格式数据(例如MP4)中去。如图所示:

音视频复用.png

参考雷霄华的博客,整理出 FFmpeg 封装音视频的流程:

FFmpeg muxer流程.png
  1. 创建 AVFormatContext 结构体

  2. 调用 avformat_alloc_output_context2() 方法初始化 AVFormatContext 关于输出文件相关属性

  3. avio_open2() - 打开输出文件

    AVDictionary *options = NULL;
    // 指定分块文件的大小
    av_dict_set(&options, "BLK_BUF_TAG", buff, 0);
    
    // 回调函数结构体
    AVIOInterruptCB interrupt_callBack = (AVIOInterruptCB *)malloc(sizeof(AVIOInterruptCB));
    memset(interrupt_callBack, 0, sizeof(*interrupt_callBack));
    // 指定回调函数,处理分块文件时调用
    interrupt_callBack->callback_blk = ffmuxer_notify_blk_callback;
    interrupt_callBack->opaque = NULL;
    interrupt_callBack->handle = (void *)pMuxer;
    
    res = avio_open2(&fmtCtx->pb, out, AVIO_FLAG_BLK_WRITE, interrupt_callBack, &options);
    
  4. 通过 avformat_new_stream 创建 video & audio stream 并设置相关配置信息

  5. avformat_write_header() - 写入文件头

  6. av_interleaved_write_frame() - 写入一个 AVPacket 到输出文件

  7. av_write_trail() - 写入文件尾

关于 FFmpeg 复用音视频的流程介绍到此,总结一下重点就是:初始化相关结构体,配置属性,写入压缩数据,释放。 下面介绍在 MediaCodec 中如何调用:

因为 MediaCodec 调用 FFmpeg 相关代码是通过 jni 调用,这里不展开介绍。下面的 native*** 方法均为 FFmpeg 对应的原生方法

  1. nativeMuxerOpen

    初始化 FFmpeg muxer: 当 video&audio 编码器的输出 MediaFormat 均发生变化,说明编码器即将输出数据。此时即可初始化 FFmpeg muxer(执行 FFmpeg 复用流程中的 1,2,3步骤)

  2. nativeAddAudioTrack & nativeAddVideoTrack

    添加 video & audio stream: 编码器输出压缩数据,且 flag 为 BUFFER_FLAG_CODEC_CONFIG(即配置信息)时,

    // 添加 video stream
    AVStream *stream = avformat_new_stream(fmtCtx, avcodec_find_encoder(codec));
    stream->codec->width = info.videoWidth;
    stream->codec->height = info.videoHeight;
    stream->codec->extradata = (uint8_t *)av_mallocz(info.bufferLen + FF_INPUT_BUFFER_PADDING_SIZE);
    memc(stream->codec->extradata, info.buffer, info.bufferLen);
    stream->codec->extradata_size = info.bufferLen;
    
    // 添加 audio stream
    AVStream *stream = avformat_new_stream(fmtCtx, avcodec_find_encoder(codec));
    stream->codec->sample_fmt = AV_SAMPLE_FMT_S32;
    stream->codec->sample_rate = info.audioSampleRate;
    stream->codec->channel_layout = getChannelLayout(info.audioChannel);
    stream->codec->channels = info.audioChannel;
    stream->codec->bit_rate = info.audioBitrate;
    stream->codec->extradata = (uint8_t *)av_mallocz(info.bufferLen + FF_INPUT_BUFFER_PADDING_SIZE);
    memc(stream->codec->extradata, info.buffer, info.bufferLen);
    stream->codec->extradata_size = info.bufferLen;
    
  3. nativeWriteVideoStream & nativeWriteAudioStream

    写入 video & audio 压缩数据:编码器输出压缩数据,且 flag 不是 BUFFER_FLAG_CODEC_CONFIG:

    // 写入 video packet
    AVPacket packet;
    av_init_packet(&packet);
    
    packet.stream_index = pMuxer->videoIndex;
    packet.data = info.buffer;
    packet.size = info.bufferLen;
    packet.pts = rescaleTime(info.stamp, stream->time_base);
    packet.duration = 0;
    packet.dts = packet.pts;
    packet.pos = -1;
    
    // 关键帧
    if (info.flag == BUFFER_FLAG_KEY_FRAME) {
     packet.flags |= AV_PKT_FLAG_KEY;
    }
    
    // 写入一个 AVPacket 到输出文件
    int ret = av_interleaved_write_frame(fmtCtx, &packet);
    
    // 写入 audio packet
    AVPacket packet;
    av_init_packet(&packet);
    
    packet.stream_index = pMuxer->audioIndex;
    packet.data = buffer;
    packet.size = bufferLen;
    packet.pts = rescaleTime(stamp, stream->time_base);
    packet.dts = packet.pts;
    packet.pos = -1;
        
    // 写入一个 AVPacket 到输出文件
    int ret = av_interleaved_write_frame(fmtCtx, &packet);
    
  4. nativeMuxerClose

    写入文件尾及释放相关结构体:当编码完成后,调用 muxerclose 方法进行释放:

    if (pMuxer->videoStream) {
     avcodec_close(((AVStream *)pMuxer->videoStream)->codec);
        pMuxer->videoStream = 0;
    }
            
    if (pMuxer->audioStream) {
     avcodec_close(((AVStream *)pMuxer->audioStream)->codec);
        pMuxer->audioStream = 0;
    }
    
    if (pMuxer->pContext) {
     AVFormatContext *fmtCtx = (AVFormatContext *)pMuxer->pContext;
        // 写入文件尾
        av_write_trailer(fmtCtx);
        avio_close(fmtCtx->pb);
     avformat_free_context(fmtCtx);
        pMuxer->pContext = 0;
    }
    
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,869评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,716评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,223评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,047评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,089评论 6 395
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,839评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,516评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,410评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,920评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,052评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,179评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,868评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,522评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,070评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,186评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,487评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,162评论 2 356

推荐阅读更多精彩内容