spark on eks 读取glue catalog

需要重新编译spark ， 默认spark中的hive-exec. 不认识hive.metastore.glue.catalogid、hive.metastore.client.factory.class 等参数。
提交任务时候会提示、即便hive-site.xml中有，也提示 。
25/04/10 07:14:19 WARN HiveConf: HiveConf of name hive.stats.jdbc.timeout does not exist
25/04/10 07:14:19 WARN HiveConf: HiveConf of name hive.metastore.glue.catalogid does not exist
25/04/10 07:14:19 WARN HiveConf: HiveConf of name hive.metastore.client.factory.class does not exist
25/04/10 07:14:19 WARN HiveConf: HiveConf of name hive.stats.retries.wait does not exist
25/04/10 07:14:19 WARN HiveConf: HiveConf of name hive.imetastoreclient.factory.class does not exist

https://github.com/awslabs/aws-glue-data-catalog-client-for-apache-hive-metastore
https://github.com/sdaberdaku/spark-with-glue-builder

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容