Spark 源码学习 - 文集

Spark 源码学习

19篇文章 · 10179字 · 2人关注

Spark DAG之 Submit Task
概要介绍Stage转为Task，提交给Executor运行的过程。 Task介绍 Task是执行计算的单元，Executor调用Task对象的...

902 0 0
Spark DAG之SubmitStage
划分Stage阶段完成后，调用submitStage(finalStage) 提交 Stage。 submitStage 查看submitSta...

473 0 0

Spark DAG之划分Stage
概要介绍Stage的定义，DAGScheduler划分Stage流程。 Stage 查看Stage定义 Stage中有两个重要属性，rdd和p...

0.2 3816 0 3
Spark DAG 概述及 Submit Job
DAG 概述 DAG，有向无环图，Directed Acyclic Graph的缩写，常用于建模。Spark中使用DAG对RDD的关系进行建模，...

1090 0 1
Spark Shuffle 概述
https://blog.csdn.net/u011564172/article/details/71170221

223 0 0
Spark 任务调度之 Driver 发送 Task 到 Executor
Driver 发送 Task 到 Executor SparkContext初始化完毕后，执行用户编写代码 SparkPi中调用RDD的redu...

0.1 1498 0 1
Spark 任务调度之 Executor的创建
CoarseGrainedExecutorBackend 启动 CoarseGrainedExecutorBackend 我们知道Executo...

1972 0 0

Spark 任务调度概述
Spark执行的大致过程，如下 Driver程序(即用户编写的Spark程序)初始化SparkContext对象。 SparkContext对象...

271 0 0
Spark 任务调度之 Register App
接着Spark 任务调度之Launch Driver，继续介绍Driver启动过程中，当SparkContext初始化时，Driver端注册Dr...

1077 0 0