Qigsaw源码之Gradle插件解析

hi,2021

Android App Bundle为Qigsaw的前置依赖知识点。

Android App Bundle 是Android新推出的一种官方发布格式.aab，可让您以更高效的方式开发和发布应用。借助 Android App Bundle，您可以更轻松地以更小的应用提供优质的使用体验，从而提升安装成功率并减少卸载量。转换过程轻松便捷。您无需重构代码即可开始获享较小应用的优势。改用这种格式后，您可以体验模块化应用开发和可自定义功能交付，并从中受益（PS：必须依赖于GooglePlay）。

qigsaw基于AAB实现，同时完全仿照AAB提供的play core library接口加载插件，开发查阅官方文档即可开始开发。如果有国际化需求的公司可以在国内版和国际版上无缝切换。同时Qigsaw实现0 hook，仅有少量私有 API 访问，保证其兼容性和稳定性。

Github:Qigsaw

本篇文章主要讲述Qigsaw相关的plugin。

Qigsaw插件

主工程进行进行apply plugin: 'com.iqiyi.qigsaw.application'插件的依赖；

feature工程进行以下依赖：

apply plugin: 'com.android.dynamic-feature'
apply plugin: 'com.iqiyi.qigsaw.dynamicfeature'

gradle.properties文件中配置QIGSAW_BUILD=true，才会有feature包的一些信息生成。

com.iqiyi.qigsaw.application

com.iqiyi.qigsaw.application.properties文件内容为：

implementation-class=com.iqiyi.qigsaw.buildtool.gradle.QigsawAppBasePlugin

QigsawAppBasePlugin默认会注册一个 SplitComponentTransform，在开启QIGSAW_BUILD=true之后还会注册SplitResourcesLoaderTransform。通过 Transform实现对插件内容的AOP。

QigsawAppBasePlugin除过注册两个Transform之外，为主要的是处理插件和基础包信息生成Qigsaw产物。

com.iqiyi.qigsaw.dynamicfeature

com.iqiyi.qigsaw.dynamicfeature.properties文件内容为：

implementation-class=com.iqiyi.qigsaw.buildtool.gradle.QigsawDynamicFeaturePlugin

QigsawDynamicFeaturePlugin在开启QIGSAW_BUILD=true之后会注册SplitResourcesLoaderTransform以及SplitLibraryLoaderTransform实现对插件内容的AOP。

SplitResourcesLoaderTransform

主要是向Activity、Service和Receiver类中的getResources注入SplitInstallHelper.loadResources(this, super.getResources())。

interface SplitComponentWeaver {
    /**
     * 链接目标
     */
    String CLASS_WOVEN = "com/google/android/play/core/splitinstall/SplitInstallHelper"
    /**
     * 链接方法
     */
    String METHOD_WOVEN = "loadResources"
    byte[] weave(InputStream inputStream)
}

相关注入类为：

class SplitResourcesLoaderInjector {
    WaitableExecutor waitableExecutor
    /**
     * 预埋的 Activity
     */
    Set<String> activities
    Set<String> services
    Set<String> receivers
    SplitActivityWeaver activityWeaver
    SplitServiceWeaver serviceWeaver
    SplitReceiverWeaver receiverWeaver
    /**部分代码省略**/
}

其中基础包和插件的区别主要是注册的目标不同：

基础包只是读取build.gradle文件中的qigsawSplit.baseContainerActivities配置的Activity。

而插件需要读取AndroidManifest.xml文件中的Activity、Service和Receiver。

SplitInstallHelper.loadResources(this, super.getResources());的作用是将所有插件资源路径添加到AssetManager中，这样各个插件就可以访问所有的资源，关键实现代码如下:

static Method getAddAssetPathMethod() throws NoSuchMethodException {
    if (addAssetPathMethod == null) {
        addAssetPathMethod = HiddenApiReflection.findMethod(AssetManager.class, "addAssetPath", String.class);
    }
    return addAssetPathMethod;
}

SplitComponentTransform

该Transform主要进行了两个操作 ：

  • 读取各个插件apk的Manifest文件，创建ComponentInfo类并将将各个插件apk的Application,Activity,Service,Recevier记录在该类的字段中，字段名称以工程名+组件类型命名，值为各个插件apk包含的组件，如过包含多个用逗号隔开。
//com.iqiyi.android.qigsaw.core.extension.ComponentInfo
public class ComponentInfo {
   public static final String native_ACTIVITIES = "com.iqiyi.qigsaw.sample.ccode.NativeSampleActivity";
   public static final String java_ACTIVITIES = "com.iqiyi.qigsaw.sample.java.JavaSampleActivity";
   public static final String java_APPLICATION = "com.iqiyi.qigsaw.sample.java.JavaSampleApplication";
}
  • 为每个provider创建代理类 类名为String providerClassName=providerName+"Decorated"+splitName，其中providerName为原始provider类名，splitName为插件apk对应的名称，并且该类继承SplitContentProvider。
public class JavaContentProvider_Decorated_java extends SplitContentProvider {}
provider_deccorated.png

为啥这么做呢?

因为在app启动时provider的执行时机是比较靠前的，
Application->attachBaseContext ==>ContentProvider->onCreate ==>Application->onCreate ==>Activity->onCreate在这个过程中我们的插件apk并没有加载进来，一定会报ClassNotFound。所以我们将插件apk的provider生成一个代理类，然后替换掉，如果插件没有加载进来，代理类什么也不执行就可以了。很好的解决了我们的问题。

SplitLibraryLoaderTransform

SplitLibraryLoaderTransform类进行的操作是向dynamic-feature构建apk的过程中，创建以 "com.iqiyi.android.qigsaw.core.splitlib." + project.name + "SplitLibraryLoader"的类。

// com.iqiyi.android.qigsaw.core.splitlib.assetsSplitLibraryLoader
// com.iqiyi.android.qigsaw.core.splitlib.javaSplitLibraryLoader
// com.iqiyi.android.qigsaw.core.splitlib.nativeSplitLibraryLoader
package com.iqiyi.android.qigsaw.core.splitlib;
public class javaSplitLibraryLoader {
    public void loadSplitLibrary(String str) {
        System.loadLibrary(str);
    }
}

这个类的作用是啥呢？

下面我们来解释一下，你会发现很有趣的。

  • Qigsaw是基于对于com.google.android.play.core对外暴露的方法，进行了自定义实现。因为aab目前只能对google play上发布应用起作用，所以开发者重新实现了一套com.google.android.play.core包名的第三方库，这样就可以做到在国内市场，与国外应用市场无缝迁移。
  • Qigsaw提供两种加载方式加载插件apk，单Classloader和多Classloader模式，单Classloader涉及私有api访问，而多Classloader不涉及私有api访问。

该类的存在就是为了解决多Classloader模式下的so加载问题
System.loadLibrary(str);该方法会使用调用方的classloader从中获取so信息并加载。

//java.lang.System.java
@CallerSensitive
public static void loadLibrary(String libname) {
  Runtime.getRuntime().loadLibrary0(Reflection.getCallerClass(), libname);
}

由于多Classloader模式下，每个插件都要各自的Classloader,so与dex都在各自的Classloader中记录，所以在多Classloader模式下， System.loadLibrary应由插件apk各自的Classloader调用。具体实现可参考SplitLibraryLoaderHelper类。

//com.iqiyi.android.qigsaw.core.splitload.SplitLibraryLoaderHelper.java
private static boolean loadSplitLibrary0(ClassLoader classLoader, String splitName, String name) {
    try {
        Class<?> splitLoaderCl = classLoader.loadClass("com.iqiyi.android.qigsaw.core.splitlib." + splitName + "SplitLibraryLoader");
        Object splitLoader = splitLoaderCl.newInstance();
        Method method = HiddenApiReflection.findMethod(splitLoaderCl, "loadSplitLibrary", String.class);
        method.invoke(splitLoader, name);
        return true;
    } catch (Throwable ignored) {

    }
    return false;
}

Qigsaw编译解析

Qigsaw打包流程

qigsaw_plugin_flow_chart.png

copySplitManifestDebug

实现feature包下生成的AndroidManifest.xml文件的拷贝。

目标文件和地址：featureName/build/intermediates/merged_manifests/debug/AndroidManifest.xml。

拷贝后的地址：app/build/intermediates/qigsaw/split-outputs/manifests/debug。

拷贝后的文件名：$featureName.xml

ProcessTaskDependenciesBetweenBaseAndSplitsWithQigsaw

触发copySplitManifestDebug任务，将feature包生成的产物和数据输出到qigsawProcessDebugManifest任务中。

extractTargetFilesFromOldApk

将app_debug.apk解压 将assets/目录下所有内容释放到app/build/intermediates/qigsaw/old-apk/target-files/xxx中

qigsawProcessDebugManifest

SplitComponentTransform创建的$ContentProviderName_Decorated_$featureName继承SplitContentProvider代替原有的Provider。

因为Provider 在应用启动的时候就需要加载，避免这个时候feature包没有下载下来，先加载一个代理的Provider。

provider.png

generateDebugQigsawConfig

生成以下文件：

@Keep
public final class QigsawConfig {
    public static final String DEFAULT_SPLIT_INFO_VERSION = "1.0.0_1.0.0";
    public static final String[] DYNAMIC_FEATURES = {"java", "assets", "native"};
    public static final String QIGSAW_ID = "1.0.0_c40ab5d";
    public static final boolean QIGSAW_MODE = Boolean.parseBoolean("true");
    public static final String VERSION_NAME = "1.0.0";
}

QIGSAW_ID回先获取基础包的id，如果没有那么为当前的QigsawId。

processSplitApkDebug

每个feature都需要执行的任务，分别处理自己的的apk并生成对应的json文件。

  • 将feature包的apk文件解压到app/build/intermediates/qigsaw/split-outputs/unzip/debug/$featureName文件；

  • 遍历解压apk中的lib文件目录，找到支持的ABI;

  • 如果有lib文件有so文件，那么在该目录生成一个AndroidManifest.xml文件；

    • 将lib文件和生成的AndroidManifest.xml压缩为protoAbiApk;

    • 利用aapt2工具将 protoAbiApk到 binaryAbiApk中;

    • 将binaryAbiApk进行签名生成app/build/intermediates/qigsaw/split-outputs/apks/debug/$feature-$abi.apk;

    • 生成SplitInfo.SplitApkData数据；

      {
  "abi": "x86",
  "url": "assets://qigsaw/native-x86.zip",
  "md5": "03a29962b87c6ed2a7961b6dbe45f532",
  "size": 8539
}

  • 遍历解压apk中除过lib之前的文件目录，压缩为$fearure-master-unsigned.apk。签名生成app/build/intermediates/qigsaw/split-outputs/apks/debug/$feature-master.apk;

  • 生成SplitInfo.SplitApkData数据；

    {
  "abi": "master",
  "url": "assets://qigsaw/native-master.zip",
  "md5": "3b89066aeaf7d2c2a59b4f3a10fef345",
  "size": 12824
}

  • 更具lib文件下的数据生成SplitInfo.SplitLibData数据；

    {
  "abi": "arm64-v8a",
  "jniLibs": [
    {
      "name": "libhello-jni.so",
      "md5": "2938d8b40825e82715422dbdba479e4f",
      "size": 5896
    }
  ]
}

  • 最后生成每个feature的SplitInfo数据，写入/app/build/intermediates/qigsaw/split-outputs/split-info/debug/$featureName.json文件；

    public class SplitInfo implements Cloneable, GroovyObject {
    private String splitName;//feature包名称
    private boolean builtIn;//!onDemand||!releaseSplitApk(releaseSplitApk是gradle中配置项)
    private boolean onDemand;//取自AndroidManifest.xml中的onDemand
    private String applicationName;//feature应用名
    private String version;//feature包中的versionname@versioncode
    private int minSdkVersion;//feature最低版本
    private int dexNumber;//feature包中的dex数量
    private Set<String> dependencies;//feature包的依赖；
    private Set<String> workProcesses;//feature包AndroidManifest.xml中的Activity、Service、Receiver、provider配置的进程；
    private List<SplitInfo.SplitApkData> apkData;//SplitInfo.SplitApkData数据
    private List<SplitInfo.SplitLibData> libData;//SplitInfo.SplitLibData数据
}

qigsawAssembleDebug

  • 将build/intermediates/qigsaw/split-outputs/split-info/debug中的每个feature包生成的json合并；
  • 将合并之后的文件与基础包中的Qigsaw配置文件进行对比，生成新的增量Qigsaw配置文件；
    • 对比规则是verisonName相等的时候对比split.version，有一个不同就表示有更新;
    • 如果有更新，那么QigsawId为基础包的QigsawId，并分析和修改split信息；
      • 修改split信息的时候，相同的splitName对比split.version。如果相同那么split使用基础包的split信息，如果不同那么该split的builtIn=false，onDemand=true。并将有更新的split做记录（updatesplits字段值）。此时updateMode值为VERSION_CHANGED=1；
      • 没有任何修改，那么updateMode值为VERSION_NO_CHANGED=2；
      • 如果没有基础包，那么updateMode值为DEFAULT=0；
  • 分别判断如果feature包的builtIn是false；
    • 判断是否有上传服务，如有有那么上传feature包。上传成功后将对应的url地址修改为可下载的http地址。如果地址为空，或者不是http开头会跑异常。
    • 如果没有实现上传服务那么builtIn置为true；
  • 格式化split内容，写到build/intermediates/qigsaw/split-details/debug文件目录下。
  • 将updateMode值写到build/intermediates/qigsaw/split-details/debug/_update_record_.json文件。
  • 如果updateMode值为VERSION_NO_CHANGED，那么将intermediates/qigsaw/old-apk/target-files/debug/assets/qigsaw/qigsaw_*.json文件拷贝到app/build/intermediates/merged_assets/debug/out/qigsaw/qigsaw_*.json;
    • 否则将app/build/intermediates/qigsaw/split-details/debug/qigsaw_*.json文件拷贝到app/build/intermediates/merged_assets/debug/out/qigsaw/qigsaw_*.json;
  • 向app/build/intermediates/qigsaw/split-details/debug/base.app.cpu.abilist.properties写入支持的abi，并将其拷贝到app/build/intermediates/merged_assets/debug/out/下面；
  • 遍历feature生成的splitinfo信息，如果builtIn是true;
    • 如果updateMode值为DEFAULT=0，将将app/build/intermediates/qigsaw/split-outputs/apks/debug/*.apk拷贝到app/build/intermediates/merged_assets/debug/out/qigsaw/*.zip；
    • 如果updateMode值为DEFAULT!=0，判断该feature是否是在updateSplits中;
      • 如果是那么将app/build/intermediates/qigsaw/split-outputs/apks/debug/*.apk拷贝到app/build/intermediates/merged_assets/debug/out/qigsaw/*.zip；
      • 如果不是将app/build/intermediates/qigsaw/old-apk/target-files/debug/assets/qigsaw/*.zip拷贝到app/build/intermediates/merged_assets/debug/out/qigsaw/*.zip；

产物

Qigsaw配置文件

{
  "qigsawId": "1.0.0_c40ab5d",
  "appVersionName": "1.0.0",
  "updateSplits": [
    "java"
  ],
  "splits": [
    {
      "splitName": "java",
      "builtIn": true,
      "onDemand": false,
      "applicationName": "com.iqiyi.qigsaw.sample.java.JavaSampleApplication",
      "version": "1.1@1",
      "minSdkVersion": 14,
      "dexNumber": 2,
      "workProcesses": [
        ""
      ],
      "apkData": [
        {
          "abi": "master",
          "url": "assets://qigsaw/java-master.zip",
          "md5": "658bc419a9d3c7812a36e61f6c5be4c4",
          "size": 12822
        }
      ]
    }
    {
      "splitName": "native",
      "builtIn": true,
      "onDemand": true,
      "version": "1.0@1",
      "minSdkVersion": 14,
      "dexNumber": 2,
      "apkData": [
        {
          "abi": "arm64-v8a",
          "url": "assets://qigsaw/native-arm64-v8a.zip",
          "md5": "b01ad63db38a4ec5fad3284c573a02d3",
          "size": 8545
        },
        {
          "abi": "master",
          "url": "assets://qigsaw/native-master.zip",
          "md5": "3c41745a16a31e967cde8247009463f1",
          "size": 12824
        }
      ],
      "libData": [
        {
          "abi": "arm64-v8a",
          "jniLibs": [
            {
              "name": "libhello-jni.so",
              "md5": "2938d8b40825e82715422dbdba479e4f",
              "size": 5896
            }
          ]
        }
      ]
    }
  ]
}

Qigsaw加载的压缩包

app-debug.png

下期研究知识点

  • 混淆相关使用操作；
  • Tinker热修改相关使用操作；
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 212,332评论 6赞 493
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 90,508评论 3赞 385
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 157,812评论 0赞 348
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 56,607评论 1赞 284
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 65,728评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,919评论 1赞 290
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,071评论 3赞 410
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,802评论 0赞 268
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,256评论 1赞 303
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2赞 327
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1赞 341
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,389评论 4赞 332
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,032评论 3赞 316
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1赞 266
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2赞 360
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2赞 350

推荐阅读更多精彩内容