@Kent_Yao 👍 期待尽早合并到master
Spark on k8s: 配置和使用ConfigMap什么是 ConfigMap 顾名思义,用来存配置的Map,可以存单个配置或者配置文件,在 POD 中我们可以通过环境变量来访问单个配置和配置文件,后者一般会被 mount 到...
@Kent_Yao hadoop conf configMap 没有挂载到exector pod。只有driver实现:HadoopConfDriverFeatureStep,没有Executor实现。
Spark on k8s: 配置和使用ConfigMap什么是 ConfigMap 顾名思义,用来存配置的Map,可以存单个配置或者配置文件,在 POD 中我们可以通过环境变量来访问单个配置和配置文件,后者一般会被 mount 到...
spark exector 好像没有创建volume, 挂载configMap?
Spark on k8s: 配置和使用ConfigMap什么是 ConfigMap 顾名思义,用来存配置的Map,可以存单个配置或者配置文件,在 POD 中我们可以通过环境变量来访问单个配置和配置文件,后者一般会被 mount 到...
什么是 ConfigMap 顾名思义,用来存配置的Map,可以存单个配置或者配置文件,在 POD 中我们可以通过环境变量来访问单个配置和配置文件,后者一般会被 mount 到...
相关文章 1 . Spark on k8s: 调试客户端spark-submit进程 通过前一篇博客的学习,已经学会了客户端 spark-submit 这个进程的调试方式,由...
@snail2019 真正搞机器学习的人是数据分析人员和算法工程师,这些人是数学,统计之类专业毕业的,做的是数据相关的工作,他们只会sql和python,不会scala和java 之类的。你估计没有用过pandas?
漫谈加持Blink的Flink和Spark前言 今天朋友圈有篇【阿里技术】发的文章,说Blink的性能如何强悍,功能现在也已经比较完善。譬如: Blink 在 TPC-DS 上和 Spark 相比有着非常明显的性能优...
还有一种优化,如果是parquet 和 orc 文件,这些文件中记录了count,max, min 等元数据,可以直接读取
Hive表数据质量校验的设计与开发一张Hive计算完成后,开发者会希望知道计算结果是否符合预期,比如是否有脏数据,是否数据量符合预期。这里就有两个问题,一个是校验什么,另一个是怎么校验。 校验什么 单个字段校...
可以在application.properties文件内部application.yml,文件内部或命令行开关中指定各种属性。本附录提供了常见Spring Boot属性的列表...