抽象语法树AST的全面解析(一)

Javac编译概述

将.java源文件编译成.class文件,这一步大致可以分为3个过程:
1、把所有的源文件解析成语法树,输入到编译器的符号表;
2、注解处理器的注解处理过程;
3、分析语法树并生成字节码。


javac编译过程.png

Parse and Enter

1.词法分析: 通过Scanner将源码的字符流解析成Token流
通过词法分析器分析源文件中的所有字符,将所有的单词或字符都转化成符合规范的Token,规范化的token可以分成一下三种类型:

  • java关键字:public, static, final, String, int等等;
  • 自定义的名称:包名,类名,方法名和变量名;
  • 运算符或者逻辑运算符等符号:+、-、*、/、&&,|| 等等。
int x=y+1;

这一行代码解析成token流如下:

token流.png

2.语法分析: 根据token流,利用TreeMaker,以JCTree的子类作为语法节点来构建抽象语法树
抽象语法树(Abstract Syntax Tree)是一种用来描述程序代码语法结构的树形表示方式,语法树的每一个节点都代表着程序代码中的一个语法结构, 如包、类型、修饰符、运算符、接口、返回值都可以是一个语法结构。

package com.example.adams.astdemo;
public class TestClass {
    int x = 0;
    int y = 1;
    public int testMethod(){
        int z = x + y;
        return z;
    }
}

对应的抽象语法树如下:


抽象语法树.png

3.将java类中的符号输入到符号表中
符号表是由一组符号地址和符号信息构成的表格;符号表中所登记的信息在编译的不同阶段都要用到,在语法分析中, 符号表所登记的内容将用于语义检查和产生中间代码。在目标代码生成阶段, 符号表是当对符号名进行地址分配时的依据。

  • 将所有类中出现的符号输入到类自身的符号表中,所有类符号、类的参数类型符号(泛型参数类型)、超类符号和继承的接口类型符号等都存储到一个未处理的列表(To Do List)中;
  • 将这个未处理的列表中所有的类都解析到各自的类符号列表中,这个操作是在MemberEnter.complete()中完成(默认构造器也是在这里完成的)。

Annotation Processing

在JDK 1.5之后,Java语言提供了对注解(Annotation)的支持,注解与普通的Java关键字一样,而在JDK 1.6中实现了JSR-269规范JSR-269:Pluggable Annotations Processing API(插入式注解处理API)。提供了一组插入式注解处理器的标准API在编译期间对注解进行处理;在注解处理期间,我们可以获取到所有的抽象语法树,可以对抽象语法树进行增删改查;语法树被修改过之后,编译器将回到解析及填充符号表的过程重新处理,直到所有插入式注解处理器都没有再对语法树进行修改为止。

Parse and Enter

1.语义分析
语义分析的主要任务是对结构正确的源程序进行上下文有关性质的审查,过程分为标注检查和数据及控制流分析两个步骤:

  • 标注检查
    检查语义合法性、进行逻辑判断,如变量使用前是否已被声明、变量与赋值之间的数据类型是否能够匹配等;
  • 数据及控制流分析
    在Javac的源码中,数据及控制流分析的入口是图中的flow(),由com.sun.tools.javac.comp.Flow类来完成,作用是对程序上下文逻辑更进一步的验证,检查局部变量在使用前是否有赋值、方法的每条路径是否都有返回值、是否所有的受查异常都被正确处理了等问题。

2.解语法糖
语法糖(Syntactic Sugar),也称糖衣语法,指在计算机语言中添加的某种语法,Java中最常用的语法糖主要是的泛型擦除、变长参数、自动装箱/拆箱、条件编译等,解语法糖就是还原回简单的基础语法结构。
3.生成字节码
字节码生成是Javac编译过程的最后一个阶段,由com.sun.tools.javac.jvm.Gen类来完成;把前面各个步骤所生成的信息(语法树、符号表)转化成字节码,再将字节码输出到*.class文件中。

总结

通过javac的编译原理可以得出:
1.抽象语法树是一种描述程序代码语法结构的树形表示方式;
2.对java源文件经过词语法分析,构建出抽象语法树;
3.我们可以在注解处理器中获取到抽象语法树。

抽象语法树AST的全面分析(二)
抽象语法树AST的全面分析(三)

参考:
Compilation Overview
Javac编译原理
Javac早期(编译期)
Java的编译原理

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,864评论 6 494
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,175评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,401评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,170评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,276评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,364评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,401评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,179评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,604评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,902评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,070评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,751评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,380评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,077评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,312评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,924评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,957评论 2 351