[转] Java 技术之类加载机制

看到一篇很好的文章。

作者:wingjay
http://wingjay.com/2017/05/08/java_classloader/

类加载机制是 Java 语言的一大亮点,使得 Java 类可以被动态加载到 Java 虚拟机中。

这次我们抛开术语和概念,从例子入手,由浅入深地讲解 Java 的类加载机制。

本文涉及知识点:双亲委托机制、BootstrapClassLoader、ExtClassLoader、AppClassLoader、自定义网络类加载器等

文章涉及代码:
https://github.com/wingjay/HelloJava/blob/master/common/src/classloader/HelloClassLoader.java

什么是 Java 类加载机制?

Java 虚拟机一般使用 Java 类的流程为:首先将开发者编写的 Java 源代码(.java 文件)编译成 Java 字节码(.class 文件),然后类加载器会读取这个 .class 文件,并转换成 java.lang.Class 的实例。有了该 Class 实例后,Java 虚拟机可以利用 newInstance 之类的方法创建其真正对象了。

ClassLoader 是 Java 提供的类加载器,绝大多数的类加载器都继承自 ClassLoader,它们被用来加载不同来源的 Class 文件。

Class 文件有哪些来源呢?

上文提到了 ClassLoader 可以去加载多种来源的 Class,那么具体有哪些来源呢?

首先,最常见的是开发者在应用程序中编写的类,这些类位于项目目录下;

然后,有 Java 内部自带的 核心类java.langjava.mathjava.io 等 package 内部的类,位于 $JAVA_HOME/jre/lib/ 目录下,如 java.lang.String 类就是定义在 $JAVA_HOME/jre/lib/rt.jar 文件里;

另外,还有 Java 核心扩展类,位于 $JAVA_HOME/jre/lib/ext 目录下。开发者也可以把自己编写的类打包成 jar 文件放入该目录下;

最后还有一种,是动态加载远程的 .class 文件。

既然有这么多种类的来源,那么在 Java 里,是由某一个具体的 ClassLoader 来统一加载呢?还是由多个 ClassLoader 来协作加载呢?

哪些 ClassLoader 负责加载上面几类 Class?

实际上,针对上面四种来源的类,分别有不同的加载器负责加载。

首先,我们来看级别最高的 Java 核心类,即$JAVA_HOME/jre/lib 里的核心 jar 文件。这些类是 Java 运行的基础类,由一个名为 BootstrapClassLoader 加载器负责加载,它也被称作 根加载器/引导加载器。注意,BootstrapClassLoader 比较特殊,它不继承 ClassLoader,而是由 JVM 内部实现;

然后,需要加载 Java 核心扩展类,即 $JAVA_HOME/jre/lib/ext 目录下的 jar 文件。这些文件由 ExtensionClassLoader 负责加载,它也被称作 扩展类加载器。当然,用户如果把自己开发的 jar 文件放在这个目录,也会被 ExtClassLoader 加载;

接下来是开发者在项目中编写的类,这些文件将由 AppClassLoader 加载器进行加载,它也被称作 系统类加载器 System ClassLoader

最后,如果想远程加载如(本地文件/网络下载)的方式,则必须要自己自定义一个 ClassLoader,复写其中的 findClass()方法才能得以实现。

因此能看出,Java 里提供了至少四类 ClassLoader 来分别加载不同来源的 Class。

那么,这几种 ClassLoader 是如何协作来加载一个类呢?

这些 ClassLoader 以何种方式来协作加载 String 类呢?

String 类是 Java 自带的最常用的一个类,现在的问题是,JVM 将以何种方式把 String class 加载进来呢?

我们来猜想下。

首先,String 类属于 Java 核心类,位于 $JAVA_HOME/jre/lib 目录下。有的朋友会马上反应过来,上文中提过了,该目录下的类会由 BootstrapClassLoader 进行加载。没错,它确实是由 BootstrapClassLoader 进行加载。但,这种回答的前提是你已经知道了 String 在 $JAVA_HOME/jre/lib 目录下。

那么,如果你并不知道 String 类究竟位于哪呢?或者我希望你去加载一个 unknown 的类呢?

有的朋友这时会说,那很简单,只要去遍历一遍所有的类,看看这个 unknown 的类位于哪里,然后再用对应的加载器去加载。

是的,思路很正确。那应该如何去遍历呢?

比如,可以先遍历用户自己写的类,如果找到了就用 AppClassLoader 去加载;否则去遍历 Java 核心类目录,找到了就用 BootstrapClassLoader 去加载,否则就去遍历 Java 扩展类库,依次类推。

这种思路方向是正确的,不过存在一个漏洞。

假如开发者自己伪造了一个 java.lang.String 类,即在项目中创建一个包java.lang,包内创建一个名为 String 的类,这完全可以做到。那如果利用上面的遍历方法,是不是这个项目中用到的 String 不是都变成了这个伪造的 java.lang.String类吗?如何解决这个问题呢?

解决方法很简单,当查找一个类时,优先遍历最高级别的 Java 核心类,然后再去遍历 Java 核心扩展类,最后再遍历用户自定义类,而且这个遍历过程是一旦找到就立即停止遍历。

在 Java 中,这种实现方式也称作 双亲委托。其实很简单,把 BootstrapClassLoader 想象为核心高层领导人, ExtClassLoader 想象为中层干部, AppClassLoader 想象为普通公务员。每次需要加载一个类,先获取一个系统加载器 AppClassLoader 的实例(ClassLoader.getSystemClassLoader()),然后向上级层层请求,由最上级优先去加载,如果上级觉得这些类不属于核心类,就可以下放到各子级负责人去自行加载。

如下图所示:

真的是按照 双亲委托方式进行类加载吗?

下面通过几个例子来验证上面的加载方式。

开发者自定义的类会被 AppClassLoader 加载吗?

在项目中创建一个名为 MusicPlayer 的类文件,内容如下:

package classloader;

public class MusicPlayer {

    public void print() {

        System.out.printf("Hi I'm MusicPlayer");

    }

}

然后来加载 MusicPlayer

private static void loadClass() throws ClassNotFoundException {

    Class<?> clazz = Class.forName("classloader.MusicPlayer");

    ClassLoader classLoader = clazz.getClassLoader();

    System.out.printf("ClassLoader is %s", classLoader.getClass().getSimpleName());

}

打印结果为:

ClassLoader is AppClassLoader

可以验证,MusicPlayer 是由 AppClassLoader 进行的加载。

验证 AppClassLoader 的双亲真的是 ExtClassLoader 和 BootstrapClassLoader 吗?

这时发现 AppClassLoader 提供了一个 getParent() 的方法,来打印看看都是什么。

private static void printParent() throws ClassNotFoundException {

        Class<?> clazz = Class.forName("classloader.MusicPlayer");

        ClassLoader classLoader = clazz.getClassLoader();

        System.out.printf("currentClassLoader is %s\n", classLoader.getClass().getSimpleName());

        while (classLoader.getParent() != null) {

            classLoader = classLoader.getParent();

            System.out.printf("Parent is %s\n", classLoader.getClass().getSimpleName());

        }

}

打印结果为:

currentClassLoader is AppClassLoader

Parent is ExtClassLoader

首先能看到 ExtClassLoader 确实是 AppClassLoader 的双亲,不过却没有看到 BootstrapClassLoader。事实上,上文就提过, BootstrapClassLoader比较特殊,它是由 JVM 内部实现的,所以 ExtClassLoader.getParent() = null

如果把 MusicPlayer 类挪到 $JAVA_HOME/jre/lib/ext 目录下会发生什么?

上文中说了,ExtClassLoader 会加载$JAVA_HOME/jre/lib/ext 目录下所有的 jar 文件。那来尝试下直接把 MusicPlayer 这个类放到 $JAVA_HOME/jre/lib/ext 目录下吧。

利用下面命令可以把 MusicPlayer.java 编译打包成 jar 文件,并放置到对应目录。

javac classloader/MusicPlayer.java

jar cvf MusicPlayer.jar classloader/MusicPlayer.class

mv MusicPlayer.jar $JAVA_HOME/jre/lib/ext/

这时 MusicPlayer.jar 已经被放置与 $JAVA_HOME/jre/lib/ext 目录下,同时把之前的 MusicPlayer 删除,而且这一次刻意使用 AppClassLoader 来加载:

private static void loadClass() throws ClassNotFoundException {

    ClassLoader appClassLoader = ClassLoader.getSystemClassLoader(); // AppClassLoader

    Class<?> clazz = appClassLoader.loadClass("classloader.MusicPlayer");

    ClassLoader classLoader = clazz.getClassLoader();

    System.out.printf("ClassLoader is %s", classLoader.getClass().getSimpleName());

}

打印结果为:

ClassLoader is ExtClassLoader

说明即使直接用 AppClassLoader 去加载,它仍然会被 ExtClassLoader 加载到。

从源码角度真正理解 双亲委托加载机制

上面已经通过一些例子了解了 双亲委托的一些特性了,下面来看一下它的实现代码,加深理解。

打开 ClassLoader 里的 loadClass() 方法,便是需要分析的源码了。这个方法里做了下面几件事:

  1. 检查目标 class 是否曾经加载过,如果加载过则直接返回;
  2. 如果没加载过,把加载请求传递给 parent 加载器去加载;
  3. 如果 parent 加载器加载成功,则直接返回;
  4. 如果 parent 未加载到,则自身调用 findClass() 方法进行寻找,并把寻找结果返回。

代码如下:

protected Class<?> loadClass(String name, boolean resolve)

    throws ClassNotFoundException

{

    synchronized (getClassLoadingLock(name)) {

        // 1\. 检查是否曾加载过

        Class<?> c = findLoadedClass(name);

        if (c == null) {

            long t0 = System.nanoTime();

            try {

                if (parent != null) {

                    // 优先让 parent 加载器去加载

                    c = parent.loadClass(name, false);

                } else {

                    // 如无 parent,表示当前是 BootstrapClassLoader,调用 native 方法去 JVM 加载

                    c = findBootstrapClassOrNull(name);

                }

            } catch (ClassNotFoundException e) {

                // ClassNotFoundException thrown if class not found

                // from the non-null parent class loader

            }

            if (c == null) {

                // 如果 parent 均没有加载到目标 class,调用自身的 findClass() 方法去搜索

                long t1 = System.nanoTime();

                c = findClass(name);

                // this is the defining class loader; record the stats

                sun.misc.PerfCounter.getParentDelegationTime().addTime(t1 - t0);

                sun.misc.PerfCounter.getFindClassTime().addElapsedTimeFrom(t1);

                sun.misc.PerfCounter.getFindClasses().increment();

            }

        }

        if (resolve) {

            resolveClass(c);

        }

        return c;

    }

}

// BootstrapClassLoader 会调用 native 方法去 JVM 加载

private native Class<?> findBootstrapClass(String name);

看完实现源码相信能够有更完整的理解。

类加载器最酷的一面:自定义类加载器

前面提到了 Java 自带的加载器 BootstrapClassLoaderAppClassLoaderExtClassLoader,这些都是 Java 已经提供好的。

而真正有意思的,是 自定义类加载器,它允许我们在运行时可以从 本地磁盘或网络上动态加载自定义类。这使得开发者可以动态修复某些有问题的类,热更新代码。

下面来实现一个 网络类加载器,这个加载器可以从网络上动态下载 .class 文件并加载到虚拟机中使用。

后面我还会写作与 热修复/动态更新 相关的文章,这里先学习 Java 层 NetworkClassLoader 相关的原理。

  1. 作为一个 NetworkClassLoader,它首先要继承 ClassLoader
  2. 然后它要实现 ClassLoader 内的 findClass() 方法。注意,不是 loadClass() 方法,因为 ClassLoader 提供了 loadClass()(如上面的源码),它会基于双亲委托机制去搜索某个 class,直到搜索不到才会调用自身的 findClass(),如果直接复写loadClass(),那还要实现双亲委托机制;
  3. findClass() 方法里,要从网络上下载一个 .class 文件,然后转化成 Class 对象供虚拟机使用。

具体实现代码如下:

/**

 * Load class from network

 */

public class NetworkClassLoader extends ClassLoader {

    @Override

    protected Class<?> findClass(String name) throws ClassNotFoundException {

        byte[] classData = downloadClassData(name); // 从远程下载

        if (classData == null) {

            super.findClass(name); // 未找到,抛异常

        } else {

            return defineClass(name, classData, 0, classData.length); // convert class byte data to Class<?> object

        }

        return null;

    }

    private byte[] downloadClassData(String name) {

        // 从 localhost 下载 .class 文件

        String path = "http://localhost" + File.separatorChar + "java" + File.separatorChar + name.replace('.', File.separatorChar) + ".class"; 

        try {

            URL url = new URL(path);

            InputStream ins = url.openStream();

            ByteArrayOutputStream baos = new ByteArrayOutputStream();

            int bufferSize = 4096;

            byte[] buffer = new byte[bufferSize];

            int bytesNumRead = 0;

            while ((bytesNumRead = ins.read(buffer)) != -1) {

                baos.write(buffer, 0, bytesNumRead); // 把下载的二进制数据存入 ByteArrayOutputStream

            }

            return baos.toByteArray();

        } catch (Exception e) {

            e.printStackTrace();

        }

        return null;

    }

    public String getName() {

        System.out.printf("Real NetworkClassLoader\n");

        return "networkClassLoader";

    }

}

这个类的作用是从网络上(这里是本人的 local apache 服务器 http://localhost/java 上)目录里去下载对应的 .class 文件,并转换成 Class<?> 返回回去使用。

下面我们来利用这个 NetworkClassLoader 去加载 localhost 上的 MusicPlayer 类:

  1. 首先把 MusicPlayer.class 放置于 /Library/WebServer/Documents/java (MacOS)目录下,由于 MacOS 自带 apache 服务器,这里是服务器的默认目录;
  2. 执行下面一段代码:
    String className = "classloader.NetworkClass";

    NetworkClassLoader networkClassLoader = new NetworkClassLoader();

    Class<?> clazz  = networkClassLoader.loadClass(className);
  1. 正常运行,加载 http://localhost/java/classloader/MusicPlayer.class成功。

可以看出 NetworkClassLoader 可以正常工作,如果读者要用的话,只要稍微修改 url 的拼接方式即可自行使用。

小结

类加载方式是 Java 上非常创新的一项技术,给未来的热修复技术提供了可能。本文力求通过简单的语言和合适的例子来讲解其中 双亲委托机制自定义加载器等,并开发了自定义的NetworkClassLoader

当然,类加载是很有意思的技术,很难覆盖所有知识点,比如不同类加载器加载同一个类,得到的实例却不是同一个等等。

之后我还会写作关于热修复/动态更新相关的技术,欢迎关注。

谢谢。

wingjay

http://wingjay.com

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容