Android JNI 篇 - ffmpeg 获取音视频缩略图

还是老规矩先上效果图:

GIF.gif

一、使用 FFmpegMediaMetadataRetriever 初步解决问题

Android 原生的 SDK 提供的 api 中并没有提供在线获取缩略图的接口(只有本地的)
本地获取音视频缩略图代码(温习一下):
  private InputStream getAudioInPutream(String imageUri) throws IOException {

    InputStream ret = null;
    MediaMetadataRetriever  fmmr;
    try {
        fmmr = new MediaMetadataRetriever();
        fmmr.setDataSource(imageUri);
        //先获取封面
        byte[] embedPic = fmmr.getEmbeddedPicture();
        ret = new ByteArrayInputStream(embedPic);
    } catch (Exception ex) {
        ex.printStackTrace();
    } finally {
          if(fmmr != null) {
            fmmr.release();
          }
    }

    if (ret != null) {
        return ret;
    } else {
        throw new IOException("Request video thumb failed by ffmpeg");
    }


}
灵机一动的我,好像 ffmpeg 可以获取音视频缩略图。 赶紧找找有没有人这么干了,结果还真有在 github 上找到一个 开源项目

https://github.com/wseemann/FFmpegMediaMetadataRetriever

大神终究还是大神。666。好了废话不说直接用起来:

   private Bitmap getVideoThumBitmap(String imageUri) throws IOException {

    ImageInputStream ret = null;
    Bitmap ret = null;
    try {
        fmmr = new FFmpegMediaMetadataRetriever();

        fmmr.setDataSource(imageUri);

        //获取视频的时长
        String value = fmmr.extractMetadata(FFmpegMediaMetadataRetriever.METADATA_KEY_DURATION);

        long frameTime = -1;
        if (value != null) {
            try {
                frameTime = Integer.parseInt(value);
            } catch (NumberFormatException e) {
            }
        }
        if (frameTime > 0) {
            frameTime = (frameTime / 2) * 1000;
        } else {
            frameTime = 4000000;
        }
        //获取视频缩略图
        ret = fmmr.getFrameAtTime(frameTime, FFmpegMediaMetadataRetriever.OPTION_CLOSEST_SYNC)
    } catch (Exception ex) {
        ex.printStackTrace();
    } finally {
        try {
            if (fmmr != null) {
                fmmr.release();
            }
        } catch (Throwable e) {
        }

    }

    return ret;
}
用的感觉还不错。过了几天老板把我叫过去怼了一顿,加了这视频缩略图 app 用着用着怎么闪退了。而且还怎么慢,切换界面还不能取消之前请求...(心中一千万个草拟吗奔腾而过..)
好吧来看看 log,尼玛 ffmpeg 的 log 一点也没有打印(原因是编译so库的时候 没有--enable-debug 因为不加 log 可以减少 so 的体积)... 好吧看来这个库还是不完美,还是的自己填上这个坑。看了一下作者这个库,ffmpeg 库已经三年没有更新了在这日新月异科技迅猛发达的时代,这是大件事.. 意思就是要我编译一个 最新的版本的 ffmpeg 换上?

二、优化 FFmpegMediaMetadataRetriever —— 替换新版本 ffmpeg

来吧动手起来,先到官网下载最新的
ffmpeg 源码
搭建 VMware + Ubuntu 环境(这个网上自己找下教程),下载 linux 平台下的 ndk。 搞定!!
接下来就是写好编译脚本放 ffmpeg 源码的根目录,脚本语言 :build_android.sh 代码 。

接下来编译:

  1. ctrl+alt+t 打开 ubuntu 终端
  2. cd 到 build_android.sh 文件所在的目录
  3. sudo ./build_android.sh (此处用超级权限去执行)
  4. 等3分钟..
  5. 编译结束
  6. make
  7. sudo make install (打包 so 和头文件.h )
好了,居然出现错误(尼玛我这是官网的代码还出错) :
libavcodec/hevc_mvs.c: In function 'derive_spatial_merge_candidates':
libavcodec/hevc_mvs.c:368:23: error: 'y0000000' undeclared (first use in this function)
libavcodec/hevc_mvs.c:368:23: note: each undeclared identifier is reported only once for each function it appears in
libavcodec/hevc_mvs.c:368:23: error: 'x0000000' undeclared (first use in this function)

其实是宏定义的问题,解决方法:

这个文件中 ffmpeg\libavcodec\hevc_mvs.c 里面 TAB_MVF_PU(B0)换成 TAB_MVF_PU(0)
为什么呢?

因为编译的时候,B0 = 0000000 通过 TAB_MVF_PU 宏定义里面用了连接符##,得出的变量名为 x0000000 或者 y0000000,其实 ffmepg 团队写这代码想要的是 x0y0 这两个变量名。
好了解决,后面有这个问题直接按照上面的方法 把 B0 换成 0 即可。

好了so 出来了


废了我大半天功夫,终于搞出来了。同一份 so 只要名字最长的那个,因为最后的链接都是链接到名字最长的那个 so,重命名 libavcodec.so.57.107.100libavcodec.so(后面三个 so 同样去掉版本号) 然后替换到原工程FFmpegMediaMetadataRetriever 相同位置下,以及把 include 文件夹替换掉,好了一跑,果然不闪退了,视频缩略图获取更加快了。新版本果然优化了很多东西,至于是什么,后面有空再去研究..

三、优化 FFmpegMediaMetadataRetriever —— 加入中断机制

终于替换掉了旧版本 ffmpeg,可是还是无法中断缩略图的获取,原项目里面没有 取消的缩略图的 api ,毕竟视频获取缩略图还是挺耗时的,因为要去解析帧数据。如果大量请求 视频缩略图,切换界面后,或者在一个 RecyclerView 快速上拉又不能取消请求。只能等着前面的缩略图一个个加载出来,才能加载到当前界面,这体验简直不能忍。
为了解决这问题,就要去修改原作者的 jni 代码 。动起手来!!
找到耗时的接口:
  1. avformat_open_input // 超级耗时接口,有时候能耗时10s+
  2. avformat_find_stream_info // 第二耗时接口
  3. av_read_frame // 第三耗时接口
java 层加入取消接口:
  nativeCancelRequest();
接口具体的实现是通过:
1. 设置一个结构体
typedef struct {
   time_t lasttime; //记录请求开始当下时间
   int timeout; //超时时间 单位 秒
   int interrupt; //1 表示退出请求,0 继续请求
} Runner;
2.通过 ffmpeg 回调的接口,不断访问 Runner 是否需要取消
// 回调函数
int interruptCallback(void *p) {
    Runner *r = (Runner *) p;
    if (r->lasttime > 0) {
        if ((time(NULL) - r->lasttime > r->timeout)
            || (r->interrupt == 1)) {
            
            return 1;
        }
    }

    return 0;
}

 state->pFormatCtx->interrupt_callback.callback = interruptCallback;
3.需要取消的时候 通过接口 nativeCancelRequest 把对应线程的 Runner 中的 interrupt 置 1.
完美退出!!
好了具体细节看我的源代码。FFmpegMediaMetadataRetriever
最后祝大家元旦快乐。迎接新的 2018 年!!
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350