由于 Mac 操作系统提供 LibreSSL 而非 openssl，故遇到编译问题需要自行安装和激活 openssl 安装 openssl 依赖 查看 openssl 信息 ...
IP属地：江西
-
Mac 操作系统 fatal error: 'openssl/ssl.h' file not found
-
yarn-site.xml
记一次Spark Yarn Shuffle Service升级引发的血案
前言 Spark YarnShuffleService是作为Hadoop Yarn模块中NodeManager的辅助服务寄生在其进程内部，大家都知道可以通过这个外部服务来削减...
-
Spark支持的java.time.Instant最大(小)值是多少？
java.time.Instant 在Spark 3.0中, java8 time API 被用到Spark datetime相关的内部计算和用户API中，比如Instant...
-
ScalaReflection调用localTypeOf抛出NullPointerException问题记录
目前怀疑是scala bug所致，https://github.com/scala/bug/issues/10766Spark在注册用户的UDF的时候会根据UDF的输入类型和...
-
@王冠吉 distribute by a,rand() *700不是hash(a, rand),而是hash（a）再hash（rand）
如何避免Spark SQL做数据导入时产生大量小文件
什么是小文件？ 生产上，我们往往将Spark SQL作为Hive的替代方案，来获得SQL on Hadoop更出色的性能。因此，本文所讲的是指存储于HDFS中小文件，即指文件...
-
是的
如何避免Spark SQL做数据导入时产生大量小文件
什么是小文件？ 生产上，我们往往将Spark SQL作为Hive的替代方案，来获得SQL on Hadoop更出色的性能。因此，本文所讲的是指存储于HDFS中小文件，即指文件...
-
@胖头鱼_2ea3 久仰，可以并欢迎转载，谢谢
Hudi: Uber Engineering的Apache Hadoop增量处理框架
随着Apache Parquet和Apache ORC等存储格式以及Presto和Apache Impala等查询引擎的发展，Hadoop生态系统有潜力作为面向分钟级延时场景...
-
@千潇 创建什么volume？
Spark on k8s: 配置和使用ConfigMap
什么是 ConfigMap 顾名思义，用来存配置的Map，可以存单个配置或者配置文件，在 POD 中我们可以通过环境变量来访问单个配置和配置文件，后者一般会被 mount 到...
-
数据本地性对 Spark 生产作业容错能力的负面影响数据本地性是 Spark 等计算引擎从计算性能方面去考量的一个重要指标，对于某个数据分片的运算，Spark 在调度侧会做数据本地性的预测，然后尽可能的将这个运算对应的Task...
-
记一次Spark Yarn Shuffle Service升级引发的血案前言 Spark YarnShuffleService是作为Hadoop Yarn模块中NodeManager的辅助服务寄生在其进程内部，大家都知道可以通过这个外部服务来削减...
-
Spark on k8s: failed to create container for [kubepods burstable...no space left on device问题描述 测试了若干天的Spark on k8s, 今天突然就无法初始化 Spark Driver Pod 了。表现如下， 客户端侧以cluster模式提交一个几秒就会结束的...
-
Spark on k8s: 通过hostPath设置SPARK_LOCAL_DIRS加速Shuffle前言 spark.local.dir/SPARK_LOCAL_DIRS 用于Spark 在 Shuffle阶段临时文件及RDD持久化存储等，可以使用逗号分隔配置多个路径对应到...
-
Spark on k8s: OkHttp WebSocket 非daemon线程导致Driver线程无法退出问题描述 基于Spark 3.0-SNAPSHOT(unreleased)，做Spark-Terasort相关测试，任务正常的话分如下图所示两个stage， 第一个，stag...
-
Spark on k8s: 调试Executor Pod的方法相关文章 1 . Spark on k8s: 调试客户端spark-submit进程 Spark on k8s: 调试Driver Pod的方法 前两篇博客已经将 Spark...
-
Spark on k8s: 配置和使用ConfigMap什么是 ConfigMap 顾名思义，用来存配置的Map，可以存单个配置或者配置文件，在 POD 中我们可以通过环境变量来访问单个配置和配置文件，后者一般会被 mount 到...
个人介绍