Spark应用程序的运行流程

(1) 构建Spark Application的运行环境，启动SparkContext。
(2) SparkContext向资源管理器（可以是Standalone、Mesos、Yarn）申请运行Executor资源。
(3) 资源管理器分配Executor资源并启动ExecutorBackend，Executor运行情况将随着心跳发送到资源管理器上。心跳是周期性地发送给资源管理器的信息，以表示Executor仍然活着。
(4) SparkContext通过DAGScheduler根据RDD依赖关系构建DAG图，再将DAG图分解成Stage，并把TaskSet发送给TaskScheduler。Executor向SparkContext申请Task，TaskScheduler将Task发放给Executor运行。
(5) Task在Executor上运行，运行完释放资源。