Android 增量更新 (一) NDK 编译 Bsdiff


现在增量更新的项目有基于Bsdiff、Courgette、HDiff ,相关的信息可以问问度娘去。我还是说说我实际在用的吧。

2013年的时候,APP应用市场慢慢浮现了省流量更新,那时公司赶着几个项目,周更的频度,更新环境经常是在测试车辆上,那个时候移动流量还是很蹩脚,我就下定决心尝试实现这个功能,从前台到后台,从无到有。增量更新、Bsdiff 这些词开始进入我的开发视野。那是第一次接触NDK,在eclipse下进行操作,我的神船(已卖出)是Ubuntu, NDK环境的安装都很顺利,避开了Windows下不少坑,也是由于Ubuntu这个原因,得以存活。得到的so库,一直用到现在,换了公司,换了平台。

这几天有空,重新在Mac AS上通过cmake复现一次编译过程。

增量更新原理

其实增量升级的原理很简单,即首先将应用的旧版本Apk与新版本Apk在服务器做差分,得到更新的部分的补丁,下载需要更新的补丁,跟本地的文件合并,安装即可。例如旧版本的APK有5M,新版的有8M,更新的部分则只能比3M大 (得到的差分包大小并不是简单的相减,因为Bsdiff是在二进制的基础上差分整个APK文件),使用增量升级的好处显而易见,像我周更的APP(15MB),通常增加功能是1MB-5MB左右,修复Bug的话,可以很小,30KB- 200K,可以暂时忽略心里那根刺,随时随地更新,不担心流量。

整个更新过程的细节留在第二部分再细细说来。

bsdiff 源码下载

首先,重新找一下bsdiff的源码,从这里可以得知bsdiff的信息。

  • 版本V4.3
  • 依赖Bzip2
  • 内存饥饿型 bsdiff: max(17*old,9*old+new)+O(1) bspatch:old+new+O(1)
  • 运行时间差异:bsdiff 耗时长,bspatch 2秒
  • 最大文件大小:2^61-1 = 2Ei-1 bytes

了解了这些,对以后出现的问题也心里有数了,bsdiff不适合在移动设备运行,也不适合在服务器端同步运行。接着就是去下一个bzip2的源码了。

bzip2 源码下载

Bzip2 现在版本 1.0.6, 发布于2010-09-20.其他信息也不需要了。

代码修改

根目录存放 Bsdiff 源码,再建一个bzip2 文件夹放置Bzip2源码

里面有很多多余文件,分批清理一下,剩下来的就干净多了。

这个时候还是存在问题,bsdiff.c 、bspatch.c 是入口文件,肯定存在main函数,改一下,我就加上文件名作为前缀,编译会发现 bzip2recover.c 也有一个main函数,这个main函数直接注释就行了。

AS 项目结构

说了那么多,我还没说一下我的项目结构。


测试APP很简单,提供两个按钮测试功能,信息从Logcat中获取。


开发编译

添加CMakeLists.txt文件。我也是刚接触Cmake,查了下资料,也细细看了CMakeLists.txt文件里的默认注释,这是第一手资料哇。aux_source_directory和list方法 也是后来才知道,不用抄路径了,很欢喜....

# For more information about using CMake with Android Studio, read the
# documentation: https://d.android.com/studio/projects/add-native-code.html

# Sets the minimum version of CMake required to build the native library.

cmake_minimum_required(VERSION 3.4.1)

# Creates and names a library, sets it as either STATIC
# or SHARED, and provides the relative paths to its source code.
# You can define multiple libraries, and CMake builds them for you.
# Gradle automatically packages shared libraries with your APK.

# 将./src/main/cpp目录(不包含子目录)下所有源文件保存在变量 SRC 中
aux_source_directory(./src/main/cpp SRC)
# 将./src/main/cpp/bzip2目录(不包含子目录)下所有源文件保存在变量 SRC_OTHER 中
aux_source_directory(./src/main/cpp/bzip2 SRC_OTHER)
# 将 SRC_OTHER 添加到 SRC 中
list(APPEND SRC ${SRC_OTHER})

add_library( # Sets the name of the library.
             bsdiff
             # Sets the library as a shared library.
             SHARED
             # Provides a relative path to your source file(s).
             ${SRC}
              )

# Searches for a specified prebuilt library and stores the path as a
# variable. Because CMake includes system libraries in the search path by
# default, you only need to specify the name of the public NDK library
# you want to add. CMake verifies that the library exists before
# completing its build.

find_library( # Sets the name of the path variable.
              log-lib
              # Specifies the name of the NDK library that
              # you want CMake to locate.
              log )

# Specifies libraries CMake should link to your target library. You
# can link multiple libraries, such as libraries you define in this
# build script, prebuilt third-party libraries, or system libraries.

target_link_libraries( # Specifies the target library.
                       bsdiff
                       # Links the target library to the log library
                       # included in the NDK.
                       ${log-lib} )

同步一下,AS为你创建环境,接下来,就需要C层向Java层提供接口调用,这就进入JNI的范畴了。

//Java层接口文件
public class BsdiffUtils {
    static {
        System.loadLibrary("bsdiff");
    }

    //生成差分包
    public static native int diff(String oldpath, String newpath, String patch);

    //旧apk和差分包合并

    /**
     * native方法
     * 使用路径为oldApkPath的apk与路径为patchPath的补丁包,合成新的apk,并存储于newApkPath
     *
     * @param oldpath
     * @param newpath
     * @param patch
     * @return
     */
    public static native int patch(String oldpath, String newpath, String patch);
}

在Android Studio 2.2 之后就方便多了,直接在方法名那,按 Alt+Enter 提示一下,就可以补全C层入口了。
这时候文件可能会创建在jni目录下,名字和你的库名字相同,改改就好了,我就拷回cpp目录下,顺带改了一下名字(重复了)。


image.png

可以看到,大部分的代码都有了,添加代码去完成我们需要的事情。

创建一个头文件,声明主要的方法。

//native-lib.h
#include <jni.h>
#include <malloc.h>

int bsdiff_main(int argc,char *argv[]);
int bspatch_main(int argc,char * argv[]);
JNIEXPORT jint JNICALL
Java_com_kw_lib_bsdiff_BsdiffUtils_diff(JNIEnv *env, jclass type, jstring oldpath_,
                                        jstring newpath_, jstring patch_) ;

JNIEXPORT jint JNICALL
Java_com_kw_lib_bsdiff_BsdiffUtils_patch(JNIEnv *env, jclass type, jstring oldpath_,
                                         jstring newpath_, jstring patch_);

再修改native-lib.c文件,调用 Bsdiff 的方法。

#include "native-lib.h"

JNIEXPORT jint JNICALL
Java_com_kw_lib_bsdiff_BsdiffUtils_diff(JNIEnv *env, jclass type, jstring oldpath_,
                                        jstring newpath_, jstring patch_) {
    char *argv[4];
    argv[0] = "bsdiff";
    argv[1] = (*env)->GetStringUTFChars(env, oldpath_, 0);
    argv[2] = (*env)->GetStringUTFChars(env, newpath_, 0);
    argv[3] = (*env)->GetStringUTFChars(env, patch_, 0);
    bsdiff_main(4, (char *)argv);
    (*env)->ReleaseStringUTFChars(env, oldpath_, argv[1]);
    (*env)->ReleaseStringUTFChars(env, newpath_, argv[2]);
    (*env)->ReleaseStringUTFChars(env, patch_, argv[3]);
    free(argv);
    return 0;
}

JNIEXPORT jint JNICALL
Java_com_kw_lib_bsdiff_BsdiffUtils_patch(JNIEnv *env, jclass type, jstring oldpath_,
                                         jstring newpath_, jstring patch_) {
    char *argv[4];
    argv[0] = "bspatch";
    argv[1] = (*env)->GetStringUTFChars(env, oldpath_, 0);
    argv[2] = (*env)->GetStringUTFChars(env, newpath_, 0);
    argv[3] = (*env)->GetStringUTFChars(env, patch_, 0);
    bspatch_main(4, (char *)argv);
    (*env)->ReleaseStringUTFChars(env, oldpath_, argv[1]);
    (*env)->ReleaseStringUTFChars(env, newpath_, argv[2]);
    (*env)->ReleaseStringUTFChars(env, patch_, argv[3]);
    free(argv);
    return 0;

}

是不是很简单呢?这个时候Bsdiff模块完成了,写写测试代码了

MainActivity的布局就不说了,简单的两个按钮,指定点击事件到click方法。必须用线程去处理,这里就简单处理了,后面还有更完善的方式,搞一个UpdateManager。

public class MainActivity extends AppCompatActivity {

    //旧版本
    String old = getsdpath() + "com.ajb.anjubao.intelligent_1.3.2_38.apk";
    //新版本
    String newp = getsdpath() + "com.ajb.anjubao.intelligent_1.3.3_39.apk";
    //差分包
    String patch = getsdpath() + "com.ajb.anjubao.intelligent_38_39.patch";
    //旧版apk和差分包合并生成的新版apk
    String tmp = getsdpath() + "new.apk";


    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

    }

    public void click(View view) {
        switch (view.getId()) {
            case R.id.bt_diff:
                Log.d("Thread", "bt_diff Thread ID is " + Thread.currentThread().getId());
                new Thread(new Runnable() {
                    @Override
                    public void run() {
                        long s = System.currentTimeMillis();
                        Log.d("Thread", "Thread ID is " + Thread.currentThread().getId());
                        BsdiffUtils.diff(old, newp, patch);
                        long s1 = System.currentTimeMillis();
                        Log.d("bsdiff", "生成差分包成功,用时:" + (s1 - s) + "ms");
                    }
                }).start();

                break;
            case R.id.bt_patch:
                Log.d("Thread", "bt_patch Thread ID is " + Thread.currentThread().getId());
                new Thread(new Runnable() {
                    @Override
                    public void run() {
                        long s = System.currentTimeMillis();
                        Log.d("Thread", "Thread ID is " + Thread.currentThread().getId());
                        long s2 = System.currentTimeMillis();
                        BsdiffUtils.patch(old, tmp, patch);
                        long s3 = System.currentTimeMillis();
                        Log.d("bsdiff", "差分包合并成功,用时:" + (s3 - s2) + "ms");
                    }
                }).start();

                break;
        }
    }

    private String getsdpath() {
        return Environment.getExternalStorageDirectory().getPath() + File.separator;
    }

}

如何测试成功与否

在终端安装 Bsdiff 命令工具。Mac下,我装了Homebrew,直接brew install bsdiff 就有了。
在终端拆分两个文件得到一个patch文件,通过sha1sum命令计算SHA1校验码,将这两个文件放到手机中,也进行拆分,部分手机会由于内存问题奔溃,忽略之,毕竟这一步不在手机上运行,拷出patch文件,通过SHA1校验码判断是否一致。

合并之后就简单了,人工判断apk文件是否可以安装就行了,代码上断不能如此简单,这个以后再说。

第一部分到此就结束了,虽然讲解原理的地方不多,见谅。

源代码在这
GITHUB
CODING

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,546评论 6 507
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,224评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,911评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,737评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,753评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,598评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,338评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,249评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,696评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,888评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,013评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,731评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,348评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,929评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,048评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,203评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,960评论 2 355

推荐阅读更多精彩内容