问题回顾
在hive中执行自定义函数udf解析解密的时候,遇到一长串报错 cold not initialize class 无论怎么替换jar包,这个错误始终顽固存在,导致解密任务无法执行
初步定位:类初始化失败
udf中存在 static {} 执行异常或者缺少代码块
代码审查 发现致命的静态代码块
致命点 :在hive的分布式环境中因为缺少配置或者依赖抛出底层的error
陷入僵局 我们修改代码后,并重新打包上传,依然有问题
在hive的底层yarn计算节点依然在执行旧代码,在java的jvm类加载机制,一旦一个类被加载到内存,单纯的通过hive的add jar是无法覆盖内存中的旧代码的
最终解决
为了彻底绕开底层的类缓存机制并修复代码缺陷,
- 第一步重构代码,静态改为懒加载
- 重命名类名
会不会是直接幽灵代码的问题,而不是 static {}的问题
