Shuffle Read 在 Task 实例化的时候就会调用 runTask() 方法运行任务，runTask() 方法中会调用 RDD.get...

Shuffle Write TaskRunner 在启动 Driver 端发送过来的 Task 的时候，调用的是 Task.run() 方法，T...

Executor 和 Task Executor 是在 Worker 上启动的为某个 Application 提供专属服务的进程，Task 为 ...

Master 与 Worker 在 Standalone 模式下 Spark 使用 Master 来进行资源的分配与管理，Worker 为具体执...

SparkContext SparkContext 是应用程序的入口，程序的运行是在 SparkContext 的指挥下进行的，我们也可以通过 ...

TaskScheduler TaskScheduler 负责对 DAGScheduler 提交过来的 Task 与最佳位置的 Executor ...

SparkEnv 与 RpcEnv SparkEnv 保存着 Application 运行时的环境信息，包括 RpcEnv、Serializer...

DAGScheduler DAGScheduler 的主要工作包括：创建 Job、划分 Stage、最后将 Stage 封装成 TaskSet ...

SchedulerBackend SparkContext 使用 SchedulerBackend 来与不同资源管理系统对接，并维护着 Exec...