问题描述 测试了若干天的Spark on k8s, 今天突然就无法初始化 Spark Driver Pod 了。表现如下， 客户端侧以clust...

前言 spark.local.dir/SPARK_LOCAL_DIRS 用于Spark 在 Shuffle阶段临时文件及RDD持久化存储等，可以...

问题描述 基于Spark 3.0-SNAPSHOT(unreleased)，做Spark-Terasort相关测试，任务正常的话分如下图所示两个...

相关文章 1 . Spark on k8s: 调试客户端spark-submit进程 Spark on k8s: 调试Driver Pod的方法...

什么是 ConfigMap 顾名思义，用来存配置的Map，可以存单个配置或者配置文件，在 POD 中我们可以通过环境变量来访问单个配置和配置文件...

相关文章 1 . Spark on k8s: 调试客户端spark-submit进程 通过前一篇博客的学习，已经学会了客户端 spark-sub...

Spark on K8S模块的代码又臭又长，离我们上生产环境，也就一个debug的距离。干干巴巴，麻麻咧咧，盘它。。。 前置条件 你有一个可以提...