如何编译"零汇编(Zero-Assembler)"的OpenJDK

在使用JetBrains CLion调试OpenJDK的过程中，有时候会发现Call Stack中有一部分是汇编代码，导致无法完全探究其内部实现。本文主要针对此问题给出了如何在不引入汇编代码（零汇编，Zero-Assembler）的情况下完成OpenJDK项目的编译和调试。

在OpenJDK 编译调试指南一文中，已经详细介绍了编译调试OpenJDK的步骤，这里不再详述具体过程。

为什么存在部分汇编代码？

首先我们来看下为什么会存在部分汇编代码，以及这部分汇编代码是什么？
从 HotSpot Runtime Overview - Interpreter 了解到，HotSpot为了提高性能，使用了基于模板的解释器（template based interpreter）来解释执行JAVA虚拟机指令，JVM在启动时会根据TemplateTable（与每个字节码对应的汇编代码）来生成解释器，所以说这个解释器其实是部分基于汇编代码实现的。除了解释器之外，在OpenJDK项目中还有一些部分也是基于汇编代码的，例如即时编译器JIT（C1编译器，C2编译器）等，但汇编代码是依赖于硬件架构的，这种做法在提升了性能的同时却降低了可移植性。

OpenJDK社区的IcedTea项目提供了一种比较通用的移植方法，使得OpenJDK可以在所有的Linux系统上构建， 而无需进一步进行移植工作。

IcedTea项目

IcedTea项目最初的出现是因为Sun公司在发布JDK时，类库的一些部分由于产权原因没有发布其源代码，而是仅以二进制插件的形式提供， 因为这部分源代码属于受版权保护的第三方。IcedTea的主要目标就是提供这些二进制插件的免费等效替代品，使得完全使用免费开源软件构建JDK成为可能。

此外，IdeaTea还做了很多工作以促进用户更容易地构建和部署JDK，其中包括将OpenJDK移植到更多的平台。

因为OpenJDK的代码中除了 C++ 代码之外还包含许多汇编代码，而OpenJDK支持的硬件平台架构有限，远远少于Linux系统所支持的。于是IcedTea的子项目Zero出现了，Zero项目旨在通过移除OpenJDK项目代码中的与平台相关的汇编代码，使用纯C++来替代，从而可以在任何 Linux 系统上构建，而无需进一步进行移植工作。

这也正是标题中"零汇编"的含义所在，就是指不使用汇编代码来构建OpenJDK。

OpenJDK 的虚拟机在很大程度上依赖 JIT（即时编译器） 编译来提高性能。而Zero中只包含一个纯C++解释器，Zero 在相同的硬件上要比原始（vanilla）的 OpenJDK 慢得多。于是又一个子项目Shark出现了， Shark使用 LLVM 来即时编译 Java 代码，从而在不引入系统特定的代码的情况下提高性能。

如何实现"零汇编(Zero-Assembler)"

到这里我们已经明白了，使用zero来构建OpenJDK就可以实现"零汇编(Zero-Assembler)"，那么如何使用呢？目前Zero和Shark已经集成到了OpenJDK的主分支中，只要在配置OpenJDK的时候指定参数--with-jvm-variants=zero重新编译即可。

虽然在OpenJDK 8中提供了--with-jvm-variants=zeroshark的配置项，但经过几番尝试发现并不能真正构建成功。根据OpenJDK社区的一些资料（[JDK-8171853] Remove Shark compiler - Java Bug System、jdk-updates/jdk10u: fb290fd1f9d4）， Shark由于长期缺乏维护已经在JDK 10版本中被移除了，也不再支持配置--with-jvm-variants=zeroshark参数了。所以下文我们只考虑Zero而不设计Shark相关内容。

这篇文章Sustaining the zero assembler port in OpenJDK: An inside perspective of CPU specific issues比较形象地描述了模板解释器和C++解释器的区别，以及如何构建zero版的OpenJDK，推荐阅读。

下面主要记录一下在MacOS和Ubuntu平台下编译Zero版OpenJDK所遇到的问题。

Ubuntu 16.04

在Ubuntu 16.04平台上编译OpenJDK 8时遇到的一个问题是缺少 libffi 依赖。运行configure时出现下面的错误信息：

checking for LIBFFI... configure: error: Package requirements (libffi) were not met:
No package 'libffi' found

使用如下命令安装之后重新配置编译即可：

sudo apt-get install libffi-dev

在Ubuntu 16.04平台上编译OpenJDK 11时没有问题，很顺利就编译完成了。

MacOS 10.15

在MacOS 10.15平台上编译时遇到较多问题，主要原因是OpenJDK项目对MacOS平台编译zero版本 支持不够完善，导致有一些代码编译不通过。

OpenJDK 8

  1. 运行configure出现下面的错误信息：
checking for LIBFFI... configure: error: in `/Users/jiajiawang/Workspace/openjdk-jdk8u':
configure: error: The pkg-config script could not be found or is too old.  Make sure it
is in your PATH or set the PKG_CONFIG environment variable to the full
path to pkg-config.

同样是因为缺少了libffi库，除了libffi之外还缺少pkg-config，使用HomeBrew安装这两个依赖即可：

brew install libffi pkg-config
  1. configure完成，运行make时出现下面的错误信息：
/usr/bin/clang++  ...  ... ... openjdk-jdk8u/hotspot/src/share/vm/precompiled/precompiled.hpp -o precompiled.hpp.pch 
clang: error: unsupported option '-gstabs'

这是因为clang不支持gcc的-gstabs选项，需要对hotspot/make/bsd/makefiles/gcc.make文件进行修改，修改内容如下：

   DEBUG_CFLAGS/ppc   = -g
   DEBUG_CFLAGS += $(DEBUG_CFLAGS/$(BUILDARCH))
   ifeq ($(DEBUG_CFLAGS/$(BUILDARCH)),)
-  DEBUG_CFLAGS += -gstabs
+      ifeq ($(USE_CLANG), true)
+        # Clang doesn't understand -gstabs
+        DEBUG_CFLAGS += -g
+      else
+        DEBUG_CFLAGS += -gstabs
+      endif
   endif
  1. 继续运行make时出现下面的错误信息：
... ... ... /src/os/bsd/vm/os_perf_bsd.cpp:29:10: fatal error: 'vm_version_ext_x86.hpp' file not found
#include "vm_version_ext_x86.hpp"
         ^~~~~~~~~~~~~~~~~~~~~~~~

这里引入了错误的文件，需要对hotspot/src/os/bsd/vm/os_perf_bsd.cpp做如下修改，使其引入正确的vm_version_ext_zero.hpp文件：

 #include "memory/resourceArea.hpp"
 #include "runtime/os.hpp"
 #include "runtime/os_perf.hpp"
-#include "vm_version_ext_x86.hpp"
+
+#ifdef TARGET_ARCH_aarch32
+# include "vm_version_ext_aarch32.hpp"
+#endif
+#ifdef TARGET_ARCH_x86
+# include "vm_version_ext_x86.hpp"
+#endif
+#ifdef TARGET_ARCH_sparc
+# include "vm_version_ext_sparc.hpp"
+#endif
+#ifdef TARGET_ARCH_zero
+# include "vm_version_ext_zero.hpp"
+#endif
+#ifdef TARGET_ARCH_arm
+# include "vm_version_ext_arm.hpp"
+#endif
+#ifdef TARGET_ARCH_ppc
+# include "vm_version_ext_ppc.hpp"
+#endif
  1. 继续运行make时出现下面的错误信息：
make[2]: *** No rule to make target ` ... ... openjdk-jdk8u/jdk/src/macosx/bin/zero/jvm.cfg', needed by ` ... ... openjdk-jdk8u/build/macosx-x86_64-normal-zero-slowdebug/jdk/lib/jvm.cfg'.  Stop.

缺少jdk/src/macosx/bin/zero/jvm.cfg文件，我们从其他目录拷贝一份过来：

mkdir -p jdk/src/macosx/bin/zero/
cp jdk/src/macosx/bin/x86_64/jvm.cfg jdk/src/macosx/bin/zero

OpenJDK 11

  1. 运行configure出现下面的错误信息：
checking for ffi.h... no
configure: error: Could not find libffi!

同样是因为缺少ligffi依赖，与OpenJDK 8不同的是在OpenJDK 11中，安装 libffi之后需要通过--with-libffi=<path>来指定libffi的地址：

# 安装libffi
brew install libffi
# 配置
sh ./configure ...省略其他参数... --with-jvm-variants=zero --with-libffi=/usr/local/Cellar/libffi/3.3/
  1. configure完成，执行make出现下面的错误信息：
... ... ... /openjdk-jdk11u/src/hotspot/share/interpreter/bytecodeInterpreter.cpp:2926:13: error: 7 enumeration values not handled in switch: 'T_VOID', 'T_ADDRESS', 'T_NARROWOOP'... [-Werror,-Wswitch]
    switch (istate->method()->result_type()) {
            ^
... ... ... /openjdk-jdk11u/src/hotspot/share/interpreter/bytecodeInterpreter.cpp:2926:13: note: add missing switch cases
    switch (istate->method()->result_type()) {
            ^

这是因为源代码中的switch语句没有处理所有的分支情况，所有clang给出了警告（Diagnostic）,导致编译不通过，我们可以通过clang的-w参数来取消所有的警告（Diagnostic），需要在配置时添加如下两个参数，重新编译即可：

sh ./configure  ...省略其他参数... --with-extra-cflags=-w --with-extra-cxxflags=-w
  1. 继续运行make时出现下面的错误信息：
... ... ... /src/os/bsd/vm/os_perf_bsd.cpp:29:10: fatal error: 'vm_version_ext_x86.hpp' file not found
#include "vm_version_ext_x86.hpp"
         ^~~~~~~~~~~~~~~~~~~~~~~~

这里引入了错误的文件，需要对src/hotspot/os/bsd/os_perf_bsd.cpp做如下修改，使其引入正确的vm_version_ext_zero.hpp文件（与OpenJDK 8中稍有不同）：

 #include "runtime/os.hpp"
 #include "runtime/os_perf.hpp"
 #include "utilities/globalDefinitions.hpp"
-#include "vm_version_ext_x86.hpp"
+
+#include CPU_HEADER(vm_version_ext)

参考资料

  1. HotSpot Runtime Overview - Interpreter
  2. Sustaining the zero assembler port in OpenJDK: An inside perspective of CPU specific issues
  3. Demystifying the JVM: JVM Variants, Cppinterpreter and TemplateInterpreter
  4. OpenJDK: IcedTea Project
  5. IcedTea - Wikipedia
  6. Main Page - IcedTea
  7. Zero-Assembler Project
  8. ZeroSharkFaq - IcedTea
  9. The New Hotspot Build System
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 217,185评论 6赞 503
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 92,652评论 3赞 393
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 163,524评论 0赞 353
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 58,339评论 1赞 293
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 67,387评论 6赞 391
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 51,287评论 1赞 301
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,130评论 3赞 418
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,985评论 0赞 275
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 45,420评论 1赞 313
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,617评论 3赞 334
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,779评论 1赞 348
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,477评论 5赞 345
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,088评论 3赞 328
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,716评论 0赞 22
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,857评论 1赞 269
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,876评论 2赞 370
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,700评论 2赞 354