iOS底层-LLVM编译流程&Clang插件

LLVM

LLVM是架构编译器的框架系统,以C++编写而成,用于优化任意程序语言编写的程序的编译时间(compile-time)、链接时间(link-time)、运行时间(run-time)以及空闲时间(idle-time)。对开发者保持开放,并兼容已有脚本

传统编译器设计

源码 Source Code + 前端 Frontend + 优化器 Optimizer + 后端 Backend(代码生成器 CodeGenerator)+ 机器码 Machine Code,如下图所示:


传统编译器设计.jpg

iOS的编译器架构

OC、C、C++使用的编译器前端是Clang,Swift是swift,后端都是LLVM,如下图所示:


ios的编译器架构.jpg

模块说明

  • 前端 Frontend:编译器前端的任务是解析源代码(编译阶段),它会进行 词法分析、语法分析、语义分析、检查源代码是否存在错误,然后构建抽象语法树(Abstract Syntax Tree AST),LLVM的前端还会生成中间代码(intermediate representation,简称IR),可以理解为llvm是编译器 + 优化器, 接收的是IR中间代码,输出的还是IR,给后端,经过后端翻译成目标指令集

  • 优化器 Optimizer:优化器负责进行各种优化,改善代码的运行时间,例如消除冗余计算等

  • 后端 Backend(代码生成器 Code Generator):将代码映射到目标指令集,生成机器代码,并且进行机器代码相关的代码优化

LLVM的设计

LLVM设计的最重要方面是,使用通用的代码表示形式(IR),它是用来在编译器中表示代码的形式,所有LLVM可以为任何编程语言独立编写前端,并且可以为任意硬件架构独立编写后端,如下所示:


LLVM的设计.jpg

通俗的一句话理解就是:LLVM的设计是前后端分离的,无论前端还是后端发生变化,都不会影响另一个

Clang简介

clang是LLVM项目中的一个子项目,它是基于LLVM架构图的轻量级编译器,诞生之初是为了替代GCC,提供更快的编译速度,它是负责C、C++、OC语言的编译器,属于整个LLVM架构中的 编译器前端,对于开发者来说,研究Clang可以给我们带来很多好处

LLVM编译流程

  • 新建一个文件,写下如下代码:
int test(int a,int b){
    return a + b + 3;
}


int main(int argc, const char * argv[]) {
    int a = test(1, 2);
    printf("%d",a);
    return 0;
}
  • 通过命令可以打印源码的编译流程
//************命令************
 clang -ccc-print-phases main.m
 
 //************编译流程************
 //0 - 输入文件:找到源文件
+- 0: input, "main.m", objective-c

//1 - 预处理阶段:这个过程处理包括宏的替换,头文件的导入
+- 1: preprocessor, {0}, objective-c-cpp-output

//2 - 编译阶段:进行词法分析、语法分析、检测语法是否正确,最终生成IR
+- 2: compiler, {1}, ir

//3 - 后端:这里LLVM会通过一个一个的pass去优化,每个pass做一些事情,最终生成汇编代码
+- 3: backend, {2}, assembler

//4 - 汇编代码生成目标文件
+- 4: assembler, {3}, object

//5 - 链接:链接需要的动态库和静态库,生成可执行文件
+- 5: linker, {4}, image(镜像文件)

//6 - 绑定:通过不同的架构,生成对应的可执行文件
6: bind-arch, "x86_64", {5}, image
LLVM编译流程.jpg

一、预处理编译阶段

这个阶段主要是处理包括宏的替换,头文件的导入,可以执行如下命令,执行完毕可以看到头文件的导入和宏的替换

//在终端直接查看替换结果
clang -E main.m

//生成对应的文件查看替换后的源码
clang -E main.m >> main2.m

需要注意的是:

  • typedef 在给数据类型取别名时,在预处理阶段不会被替换掉

  • define则在预处理阶段会被替换,所以经常被是用来进行代码混淆,目的是为了app安全,实现逻辑是:将app中核心类、核心方法等用系统相似的名称进行取别名了,然后在预处理阶段就被替换了,来达到代码混淆的目的

二、编译阶段

编译阶段主要是进行词法、语法等的分析和检查,然后生成中间代码IR

1、词法分析

预处理完成后就会进行词法分析,这里会把代码切成一个个token,比如大小括号、等于号还有字符串等,

  • 可以通过下面的命令查看
clang -fmodules -fsyntax-only -Xclang -dump-tokens main.m
  • 如果头文件找不到,指定sdk
clang -isysroot (自己SDK路径) -fmodules -fsyntax-only -Xclang -dump-tokens main.m

 clang -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator14.1.sdk/ -fmodules -fsyntax-only -Xclang -dump-tokens main.m
  • 以下是代码的词法分析结果


    编译阶段-1.jpg

2.语法分析

词法分析完成后就是语法分析,它的任务是验证语法是否正确,在词法分析的基础上将单词序列组合成各类此法短语,如程序、语句、表达式 等等,然后将所有节点组成抽象语法树(Abstract Syntax Tree􏰊AST),语法分析程序判断程序在结构上是否正确

  • 可以通过下面命令查看语法分析的结果
clang -fmodules -fsyntax-only -Xclang -ast-dump main.m
  • 如果导入头文件找不到,可以指定SDK
 clang -isysroot (自己SDK路径) -fmodules -fsyntax-only -Xclang -ast-dump main.m

 clang -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator14.1.sdk/ -fmodules -fsyntax-only -Xclang -ast-dump main.m
  • 下面是语法分析的结果
编译阶段-2.jpg

其中,主要说明几个关键字的含义

-FunctionDecl 函数
-ParmVarDecl 参数
-CallExpr 调用一个函数
-BinaryOperator 运算符

3、生成中间代码IR

完成以上步骤后,就开始生成中间代码IR了,代码生成器(Code Generation)会将语法树自顶向下遍历逐步翻译成LLVM IR,

  • 可以通过下面命令可以生成.ll的文本文件,查看IR代码。OC代码在这一步会进行runtime桥接,:property合成、ARC处理等
clang -S -fobjc-arc -emit-llvm main.m

//以下是IR基本语法
@ 全局标识
% 局部标识
alloca 开辟空间
align 内存对齐
i32 32bit,4个字节
store 写入内存
load 读取数据
call 调用函数
ret 返回
  • 下面是生成的中间代码.ll文件


    编译阶段-3.jpg

其中,test函数的参数解释为


编译阶段-4.jpg
  • 当然,IR文件在OC中是可以进行优化的,一般设置是在target - Build Setting - Optimization Level(优化器等级)中设置。LLVM的优化级别分别是-O0 -O1 -O2 -O3 -Os(第一个是大写英文字母O),下面是带优化的生成中间代码IR的命令
clang -Os -S -fobjc-arc -emit-llvm main.m -o main.ll

这是优化后的中间代码


编译阶段-5.jpg
  • xcode7以后开启bitcode,苹果会做进一步优化,生成.bc的中间代码,我们通过优化后的IR代码生成.bc代码
clang -emit-llvm -c main.ll -o main.bc

三、后端

LLVM在后端主要是会通过一个个的Pass去优化,每个Pass做一些事情,最终生成汇编代码

生成汇编代码

  • 我们通过最终的.bc或者.ll代码生成汇编代码
 clang -S -fobjc-arc main.bc -o main.s clang -S -fobjc-arc main.ll -o main.s
  • 生成汇编代码也可以进行优化
clang -Os -S -fobjc-arc main.m -o main.s

此时查看生成的main.s文件的格式为汇编代码


生成汇编代码.jpg

四、生成目标文件

目标文件的生成,是汇编器以汇编代码作为插入,将汇编代码转换为机器代码,最后输出目标文件(object file)

clang -fmodules -c main.s -o main.o

可以通过nm命令,查看下main.o中的符号

$xcrun nm -nm main.o

以下是main.o中的符号,其文件格式为 目标文件


生成目标文件.jpg
  • _printf函数是一个是undefined 、external 的

  • undefined表示在当前文件暂时找不到符号_printf

  • external表示这个符号是外部可以访问的

五、链接

  • 静态库会和可执行文件合并

  • 动态库是独立的

连接器把编译生成的.o文件和 .dyld .a文件链接,生成一个mach-o文件

clang main.o -o main

查看链接之后的符号

$xcrun nm -nm main

结果如下所示,其中的undefined表示会在运行时进行动态绑定


链接-1.jpg
  • 通过命令查看 main是什么格式,此时是 mach-o可执行文件


    链接-2.jpg

六、绑定

绑定主要是通过不同的架构,生成对应的mach-o格式可执行文件

总结

综上,所述,LLVM的编译流程如下图所示:


LLVM编译流程.png

Clang插件开发

由于国内网络限制,需要借助镜像下载llvm的源码,此处为镜像链接

  • 下载LLVM项目
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/llvm.git
  • 在LLVM的projects目录下下载compiler-rt、libcxx、libcxxabi
cd ../projects

git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/compiler-rt.git

git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/libcxx.git 

git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/libcxxabi.git
  • 在Clang的tools下安装extra工具
cd ../tools/clang/tools

git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/clang-tools-extra.git

2、LLVM编译

由于最新的LLVM只支持cmake来编译,所以需要安装cmake

安装cmake

  • 查看brew是否安装cmake,如果已经安装,则跳过下面步骤
brew list
  • 通过brew安装cmake
brew install cmake

编译LLVM

有两种编译方式:

  • 通过Xcode编译LLVM

  • 通过ninja编译LLVM

通过Xcode编译LLVM

  • cmake编译成Xcode项目
mkdir build_xcode

cd build_xcode

cmake -G Xcode ../llvm
  • 使用Xcode编译Clang

    • 选择自动创建Schemes


      编译LLVM-1.png
  • 编译(CMD + B),选择ALL_BUILD Secheme进行编译,预计1+小时


    编译LLVM-2.png

:这里通过ALL_BUILD Secheme编译会报以下错误The i386 architecture is deprecated. You should update your ARCHS build setting to remove the i386 architecture,尝试着去解决,但是目前尚未找到好的解决方案(后续会补充)

替代方案:选择手动创建Schemes,然后编译编译Clang + ClangTooling即可

通过ninja编译LLVM

  • 使用ninja进行编译则还需要安装ninja,使用以下命令安装ninja
brew install ninja
  • 在LLVM源码根目录下新建一个build_ninja目录,最终会在build_ninja目录下生成``build.ninja`

  • 在LLVM源码根目录下新建llvm_release目录,最终编译文件会在llvm_release文件夹路径下

cd llvm_build

//注意DCMAKE_INSTALL_PREFIX后面不能有空格
cmake -G Ninja ../llvm -DCMAKE_INSTALL_PREFIX= 安装路径(本机为/ Users/xxx/xxx/LLVM/llvm_release)
  • 一次执行编译,安装指令
ninja

ninja install

3、创建插件

\color{red}{/llvm/tools/clang/tools}下新建插件\color{red}{HXPlugin}

创建插件-1.png

  • 在/llvm/tools/clang/tools目录下的CMakeLists.txt文件,新增add_clang_subdirectory(HXPlugin),此处的HXPlugin即为上一步创建的插件名称


    创建插件-2.png
  • 在HXPlugin目录下新建两个文件,分别是HXPlugin.cpp 和CMakeLists.txt,并在CMakeLists.txt中加上以下代码

add_llvm_library( HXPlugin MODULE BUILDTREE_ONLY 
    HXPlugin.cpp
)
  • 接下来利用cmake重新生成Xcode项目,在build_xcode目录下执行以下命令
cmake -G Xcode ../llvm
  • 最后可以在LLVM的xcode项目中可以看到Loadable modules目录下由自定义的CJLPlugin目录了,然后可以在里面编写插件代码了


    image.png

编写插件代码

在HXPlugin目录下的HXPlugin.cpp文件中,加入以下代码



#include <iostream>
#include "clang/AST/AST.h"
#include "clang/AST/DeclObjC.h"
#include "clang/AST/ASTConsumer.h"
#include "clang/ASTMatchers/ASTMatchers.h"
#include "clang/Frontend/CompilerInstance.h"
#include "clang/ASTMatchers/ASTMatchFinder.h"
#include "clang/Frontend/FrontendPluginRegistry.h"

using namespace clang;
using namespace std;
using namespace llvm;
using namespace clang::ast_matchers;
//命名空间,和插件同名
namespace HXPlugin {

//第三步:扫描完毕的回调函数
//4、自定义回调类,继承自MatchCallback
class HXMatchCallback: public MatchFinder::MatchCallback {
    
private:
    //CI传递路径:HXASTAction类中的CreateASTConsumer方法参数 - HXConsumer的构造函数 - HXMatchCallback的私有属性,通过构造函数从HXASTConsumer构造函数中获取
    CompilerInstance &CI;
    
    //判断是否是用户源文件
    bool isUserSourceCode(const string filename) {
        //文件名不为空
        if (filename.empty()) return  false;
        //非xcode中的源码都认为是用户的
        if (filename.find("/Applications/Xcode.app/") == 0) return false;
        return  true;
    }

    //判断是否应该用copy修饰
    bool isShouldUseCopy(const string typeStr) {
        //判断类型是否是NSString | NSArray | NSDictionary
        if (typeStr.find("NSString") != string::npos ||
            typeStr.find("NSArray") != string::npos ||
            typeStr.find("NSDictionary") != string::npos/*...*/)
        {
            return true;
        }
        
        return false;
    }
    
public:
    HXMatchCallback(CompilerInstance &CI) :CI(CI) {}
    
    //重写run方法
    void run(const MatchFinder::MatchResult &Result) {
        //通过result获取到相关节点 -- 根据节点标记获取(标记需要与HXASTConsumer构造方法中一致)
        const ObjCPropertyDecl *propertyDecl = Result.Nodes.getNodeAs<ObjCPropertyDecl>("objcPropertyDecl");
        //判断节点有值,并且是用户文件
        if (propertyDecl && isUserSourceCode(CI.getSourceManager().getFilename(propertyDecl->getSourceRange().getBegin()).str()) ) {
            //15、获取节点的描述信息
            ObjCPropertyDecl::PropertyAttributeKind attrKind = propertyDecl->getPropertyAttributes();
            //获取节点的类型,并转成字符串
            string typeStr = propertyDecl->getType().getAsString();
//            cout<<"---------拿到了:"<<typeStr<<"---------"<<endl;
            
            //判断应该使用copy,但是没有使用copy
            if (propertyDecl->getTypeSourceInfo() && isShouldUseCopy(typeStr) && !(attrKind & ObjCPropertyDecl::OBJC_PR_copy)) {
                //使用CI发警告信息
                //通过CI获取诊断引擎
                DiagnosticsEngine &diag = CI.getDiagnostics();
                //通过诊断引擎 report报告 错误,即抛出异常
                /*
                错误位置:getBeginLoc 节点开始位置
                错误:getCustomDiagID(等级,提示)
                 */
                diag.Report(propertyDecl->getBeginLoc(), diag.getCustomDiagID(DiagnosticsEngine::Warning, "%0 - 这个地方推荐使用copy!!"))<< typeStr;
            }
        }
    }
};


//第二步:扫描配置完毕
//3、自定义HXASTConsumer,继承自ASTConsumer,用于监听AST节点的信息 -- 过滤器
class HXASTConsumer: public ASTConsumer {
private:
    //AST节点的查找过滤器
    MatchFinder matcher;
    //定义回调类对象
    HXMatchCallback callback;
    
public:
    //构造方法中创建matcherFinder对象
    HXASTConsumer(CompilerInstance &CI) : callback(CI) {
        //添加一个MatchFinder,每个objcPropertyDecl节点绑定一个objcPropertyDecl标识(去匹配objcPropertyDecl节点)
        //回调callback,其实是在CJLMatchCallback里面重写run方法(真正回调的是回调run方法)
        matcher.addMatcher(objcPropertyDecl().bind("objcPropertyDecl"), &callback);
    }
    
    //实现两个回调方法 HandleTopLevelDecl 和 HandleTranslationUnit
    //解析完一个顶级的声明,就回调一次(顶级节点,相当于一个全局变量、函数声明)
    bool HandleTopLevelDecl(DeclGroupRef D){
//        cout<<"正在解析..."<<endl;
        return  true;
    }
    
    //整个文件都解析完成的回调
    void HandleTranslationUnit(ASTContext &context) {
//        cout<<"文件解析完毕!"<<endl;
        //将文件解析完毕后的上下文context(即AST语法树) 给 matcher
        matcher.matchAST(context);
    }
};

//2、继承PluginASTAction,实现我们自定义的Action,即自定义AST语法树行为
class HXASTAction: public PluginASTAction {
    
public:
    //重载ParseArgs 和 CreateASTConsumer方法
    bool ParseArgs(const CompilerInstance &ci, const std::vector<std::string> &args) {
        return true;
    }
    
    //返回ASTConsumer类型对象,其中ASTConsumer是一个抽象类,即基类
    /*
     解析给定的插件命令行参数。
     - param CI 编译器实例,用于报告诊断。
     - return 如果解析成功,则为true;否则,插件将被销毁,并且不执行任何操作。该插件负责使用CompilerInstance的Diagnostic对象报告错误。
     */
    unique_ptr<ASTConsumer> CreateASTConsumer(CompilerInstance &CI, StringRef iFile) {
        //返回自定义的CJLASTConsumer,即ASTConsumer的子类对象
        /*
         CI用于:
         - 判断文件是否使用户的
         - 抛出警告
         */
        return unique_ptr<HXASTConsumer> (new HXASTConsumer(CI));
    }
    
};

}

//第一步:注册插件,并自定义AST语法树Action类
//1、注册插件
static FrontendPluginRegistry::Add<HXPlugin::HXASTAction> CJL("HXPlugin", "This is CJLPlugin");
  • 然后在终端中测试插件
//命令格式
自己编译的clang文件路径  -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator14.1.sdk/ -Xclang -load -Xclang 插件(.dyld)路径 -Xclang -add-plugin -Xclang 插件名 -c 源码路径

//例子
/Users/XXX/Desktop/build_xcode/Debug/bin/clang -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator14.1.sdk/ -Xclang -load -Xclang /Users/XXXX/Desktop/build_xcode/Debug/lib/CJLPlugin.dylib -Xclang -add-plugin -Xclang CJLPlugin -c /Users/XXXX/Desktop/XXX/XXXX/测试demo/testClang/testClang/ViewController.m
测试插件

4、Xcode集成插件

加载插件

  • 打开测试项目,在target->Build Settings -> Other C Flags 添加以下内容
 -Xclang -load -Xclang (.dylib)动态库路径 -Xclang -add-plugin -Xclang HXPlugin
加载插件.png

设置编译器

  • 由于clang插件需要使用对应的版本去加载,如果版本不一致会导致编译失败,如下所示:


    image.png
  • 在Build Settings栏目中新增两项用户定义的设置,分别是CC和CXX

  • CC 对应的是自己编译的clang的绝对路径

  • CXX 对应的是自己编译的clang++的绝对路径

image.png
  • 接下来在Build Settings中搜索index,将Enable Index-Wihle-Building Functionality的Default改为NO
image.png
  • 最后,重新编译测试项目,会出现下面的效果


    image.png
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,236评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,867评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,715评论 0 340
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,899评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,895评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,733评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,085评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,722评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,025评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,696评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,816评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,447评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,057评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,009评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,254评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,204评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,561评论 2 343

推荐阅读更多精彩内容