通过监控平台查看线程监控指标,从 Blocked 线程堆栈不难看出是和日志打印相关,由于是 ERROR 级别日志。分析堆栈发现特殊的堆栈信息:com.sankuai.shepherd.core.process.ProcessHandlerFactory$$Lambda$35/1331430278。与AsyncAppender 导致线程 Block相似,但是此类不是由于反射导致而成。
到底什么类加载不了
Lambda 表达式区别于匿名内部类实现,在构建时不会生成class 文件,而是在运行时通过 invokeDynamic 指令动态调用,Lambda 表达式的内容会被封装在一个静态方法内,JVM 通过 ASM 字节码技术来动态生成调用类,也就是 $$Lambda$ 这种形式的类。而查阅查阅 Lambda 表达式相关文档,发现异常堆栈类名包含$$Lambda$ 这样的关键字,其实是 JDK 的一个 Bug。
该 Bug 在 JDK9 版本已经修复,实际测试中发现,在 JDK8 的高版本如 8U171 等已修复该 Bug,异常堆栈中不会有类似 $$Lambda$ 的堆栈信息。
问题小结
Log4j2 打印异常日志时,AsyncAppender 会先创建日志事件快照,并进一步触发解析、加载异常堆栈类。JDK 8 低版本中使用 Lambda 表达式所生成的异常堆栈类无法被 WebAppClassLoader 类加载器加载,因此,当大量包含 Lambda 表达式调用的异常堆栈被输出到日志时,会频繁地触发类加载,由于类加载过程是synchronized 同步加锁的,且每次加载都需要读取文件,速度较慢,从而导致了线程 Block。