还是老规矩先上效果图:
一、使用 FFmpegMediaMetadataRetriever 初步解决问题
Android 原生的 SDK 提供的 api 中并没有提供在线获取缩略图的接口(只有本地的)
本地获取音视频缩略图代码(温习一下):
private InputStream getAudioInPutream(String imageUri) throws IOException {
InputStream ret = null;
MediaMetadataRetriever fmmr;
try {
fmmr = new MediaMetadataRetriever();
fmmr.setDataSource(imageUri);
//先获取封面
byte[] embedPic = fmmr.getEmbeddedPicture();
ret = new ByteArrayInputStream(embedPic);
} catch (Exception ex) {
ex.printStackTrace();
} finally {
if(fmmr != null) {
fmmr.release();
}
}
if (ret != null) {
return ret;
} else {
throw new IOException("Request video thumb failed by ffmpeg");
}
}
灵机一动的我,好像 ffmpeg 可以获取音视频缩略图。 赶紧找找有没有人这么干了,结果还真有在 github 上找到一个 开源项目
https://github.com/wseemann/FFmpegMediaMetadataRetriever
大神终究还是大神。666。好了废话不说直接用起来:
private Bitmap getVideoThumBitmap(String imageUri) throws IOException {
ImageInputStream ret = null;
Bitmap ret = null;
try {
fmmr = new FFmpegMediaMetadataRetriever();
fmmr.setDataSource(imageUri);
//获取视频的时长
String value = fmmr.extractMetadata(FFmpegMediaMetadataRetriever.METADATA_KEY_DURATION);
long frameTime = -1;
if (value != null) {
try {
frameTime = Integer.parseInt(value);
} catch (NumberFormatException e) {
}
}
if (frameTime > 0) {
frameTime = (frameTime / 2) * 1000;
} else {
frameTime = 4000000;
}
//获取视频缩略图
ret = fmmr.getFrameAtTime(frameTime, FFmpegMediaMetadataRetriever.OPTION_CLOSEST_SYNC)
} catch (Exception ex) {
ex.printStackTrace();
} finally {
try {
if (fmmr != null) {
fmmr.release();
}
} catch (Throwable e) {
}
}
return ret;
}
用的感觉还不错。过了几天老板把我叫过去怼了一顿,加了这视频缩略图 app 用着用着怎么闪退了。而且还怎么慢,切换界面还不能取消之前请求...(心中一千万个草拟吗奔腾而过..)
好吧来看看 log,尼玛 ffmpeg 的 log 一点也没有打印(原因是编译so库的时候 没有--enable-debug 因为不加 log 可以减少 so 的体积)... 好吧看来这个库还是不完美,还是的自己填上这个坑。看了一下作者这个库,ffmpeg 库已经三年没有更新了在这日新月异科技迅猛发达的时代,这是大件事.. 意思就是要我编译一个 最新的版本的 ffmpeg 换上?
二、优化 FFmpegMediaMetadataRetriever —— 替换新版本 ffmpeg
来吧动手起来,先到官网下载最新的
ffmpeg 源码 ,
搭建 VMware + Ubuntu 环境(这个网上自己找下教程),下载 linux 平台下的 ndk。 搞定!!
接下来就是写好编译脚本放 ffmpeg 源码的根目录,脚本语言 :build_android.sh
代码 。
接下来编译:
- ctrl+alt+t 打开
ubuntu
终端 - cd 到
build_android.sh
文件所在的目录 - sudo ./build_android.sh (此处用超级权限去执行)
- 等3分钟..
- 编译结束
- make
- sudo make install (打包 so 和头文件.h )
好了,居然出现错误(尼玛我这是官网的代码还出错) :
libavcodec/hevc_mvs.c: In function 'derive_spatial_merge_candidates':
libavcodec/hevc_mvs.c:368:23: error: 'y0000000' undeclared (first use in this function)
libavcodec/hevc_mvs.c:368:23: note: each undeclared identifier is reported only once for each function it appears in
libavcodec/hevc_mvs.c:368:23: error: 'x0000000' undeclared (first use in this function)
其实是宏定义的问题,解决方法:
这个文件中 ffmpeg\libavcodec\hevc_mvs.c 里面
TAB_MVF_PU(B0)
换成TAB_MVF_PU(0)
为什么呢?因为编译的时候,B0 = 0000000 通过
TAB_MVF_PU
宏定义里面用了连接符##
,得出的变量名为x0000000
或者y0000000
,其实 ffmepg 团队写这代码想要的是x0
和y0
这两个变量名。
好了解决,后面有这个问题直接按照上面的方法 把B0
换成 0 即可。好了so 出来了
废了我大半天功夫,终于搞出来了。同一份 so 只要名字最长的那个,因为最后的链接都是链接到名字最长的那个 so,重命名 libavcodec.so.57.107.100
为 libavcodec.so
(后面三个 so 同样去掉版本号) 然后替换到原工程FFmpegMediaMetadataRetriever
相同位置下,以及把 include
文件夹替换掉,好了一跑,果然不闪退了,视频缩略图获取更加快了。新版本果然优化了很多东西,至于是什么,后面有空再去研究..
三、优化 FFmpegMediaMetadataRetriever —— 加入中断机制
终于替换掉了旧版本 ffmpeg,可是还是无法中断缩略图的获取,原项目里面没有 取消的缩略图的 api ,毕竟视频获取缩略图还是挺耗时的,因为要去解析帧数据。如果大量请求 视频缩略图,切换界面后,或者在一个 RecyclerView
快速上拉又不能取消请求。只能等着前面的缩略图一个个加载出来,才能加载到当前界面,这体验简直不能忍。
为了解决这问题,就要去修改原作者的 jni 代码 。动起手来!!
找到耗时的接口:
- avformat_open_input // 超级耗时接口,有时候能耗时10s+
- avformat_find_stream_info // 第二耗时接口
- av_read_frame // 第三耗时接口
java 层加入取消接口:
nativeCancelRequest();
接口具体的实现是通过:
1. 设置一个结构体
typedef struct {
time_t lasttime; //记录请求开始当下时间
int timeout; //超时时间 单位 秒
int interrupt; //1 表示退出请求,0 继续请求
} Runner;
2.通过 ffmpeg
回调的接口,不断访问 Runner
是否需要取消
// 回调函数
int interruptCallback(void *p) {
Runner *r = (Runner *) p;
if (r->lasttime > 0) {
if ((time(NULL) - r->lasttime > r->timeout)
|| (r->interrupt == 1)) {
return 1;
}
}
return 0;
}
state->pFormatCtx->interrupt_callback.callback = interruptCallback;