Spark并行度指在Spark作业中，各个Stage中task的数量，也就代表了Spark作业在各个阶段的并行度。合理设置并行度可以从以下几个方面考虑： 1.充分利用任务资源...
发简信
IP属地：辽宁
-
Spark[四]——Spark并行度
-
Spark踩坑vlog-推测执行spark.speculation
@TOC[Spark%E8%B8%A9%E5%9D%91vlog-%E6%8E%A8%E6%B5%8B%E6%89%A7%E8%A1%8Cspark.speculation]...
-
Protobuf结合Spark Structured Streaming使用
背景 在项目开发中对流式数据使用Spark Structured Streaming进行处理，处理流程为：消息中间件(source) -> Spark Structured ...
-
Spark流处理中的广播变量
背景 前段时间做的是一个流式项目里，场景为：对于流式数据，使用过滤规则进行实时过滤并产出结果数据。流式数据为源源不断的IP，筛选出在合格IP集合中的数据，传输到下游消息中间件...
-
Spark踩坑vlog——join时shuffle的大坑
业务背景 项目中将两个表进行join，一个大表，一个小表，在平时200 executor-core * 20G executor-memory的资源下跑的挺好的，随着业务数据...
-
Spark踩坑vlog——使用外部存储减轻join时数据负担
背景 此次需要将10张表[A、B、C、D、E、F、G、H、I、J]的数据union与表∂中的一个字段进行join，以达到筛选数据的目的；其中表A的数据量约为320亿，其余9个...
-
非常感谢您的分享，文章中可能有点手误的地方：下面说说背压的产生过程->本地传输->“如果 Task 2 的速度比 1 慢，那么 buffer 回收的速度就会赶不上 Task 1 取 buffer 的速度“，是不是应该把最后一句话改为”那么buffer回收的速度就赶不上Task2取buffer的速度“。
flink的背压问题产生原因与解决方法
最近flink job出现了背压的问题, 后果是导致了checkpoint的生成超时, 影响了flink job的运行. 定位问题: 如下图: 1) flink的checkp...
-
flink的背压问题产生原因与解决方法最近flink job出现了背压的问题, 后果是导致了checkpoint的生成超时, 影响了flink job的运行. 定位问题: 如下图: 1) flink的checkp...