1、基本概念：
RDD：
RDD是弹性分布式数据集（Resilient Distributed Dataset）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型；
RDD 是一种天生具有容错机制的特殊集合，不需要通过数据冗余的方式（比如检查点）实现容错，而只需通过 RDD 父子依赖（血缘）关系重新计算得到丢失的分区来实现容错
RDD 采用了惰性调用，即在 RDD 的执行过程中，真正的计算发生在 RDD 的 “行动” 操作，对于 “行动” 之前的所有 “转换” 操作，Spark 只是记录下 “转换” 操作应用的一些基础数据集以及 RDD 生成的轨迹，即相互之间的依赖关系，而不会触发真正的计算
DAG：
是 Directed Acyclic Graph（有向无环图）的简称，反映 RDD 之间的依赖关系；
Executor：
是运行在工作节点（Worker Node）上的一个进程，负责运行任务，并为应用程序存储数据；
应用：
用户编写的 Spark 应用程序；
任务：
运行在 Executor 上的工作单元；
作业：
一个作业包含多个 RDD 及作用于相应 RDD 上的各种操作；
阶段：
是作业的基本调度单位，一个作业会分为多组任务，每组任务被称为 “阶段”，或者也被称为 “任务集”。
具体关系
在 Spark 中，一个应用（Application）由一个任务控制节点（Driver）和若干个作业（Job）构成，一个作业由多个阶段（Stage）构成，一个阶段由多个任务（Task）组成，Executor 进程以多线程的方式运行任务。
运行关系
当执行一个应用时，任务控制节点会向集群管理器（Cluster Manager）申请资源，启动 Executor，并向 Executor 发送应用程序代码和文件，然后在 Executor 上以多线程的方式执行任务，运行结束后，执行结果会返回给任务控制节点，或者写到 HDFS 或者其他数据库中。
2、架构关系图
3、与 Hadoop MapReduce 计算框架相比，Spark 所采用的 Executor 有两个优点：
1、利用多线程来执行具体的任务（Hadoop MapReduce 采用的是进程模型），减少任务的启动开销；
2、 Executor 中有一个 BlockManager 存储模块，会将内存和磁盘共同作为存储设备，当需要多轮迭代计算时，可以将中间结果存储到这个存储模块里，下次需要时，就可以直接读该存储模块里的数据，而不需要读写到 HDFS 等文件系统里，因而有效减少了 IO 开销；或者在交互式查询场景下，预先将表缓存到该存储系统上，从而可以提高读写 IO 性能。
4、Spark 的基本运行流程如下：
（1）当一个 Spark 应用被提交时，首先需要为这个应用构建起基本的运行环境，即由任务控制节点（Driver）创建一个 SparkContext，由 SparkContext 负责和资源管理器（Cluster Manager）的通信以及进行资源的申请、任务的分配和监控等。SparkContext 会向资源管理器注册并申请运行 Executor 的资源；
（2）资源管理器为 Executor 分配资源，并启动 Executor 进程，Executor 运行情况将随着 “心跳” 发送到资源管理器上；
（3）SparkContext 根据 RDD 的依赖关系构建 DAG 图，DAG 图提交给 DAG 调度器（DAGScheduler）进行解析，将 DAG 图分解成多个 “阶段”（每个阶段都是一个任务集），并且计算出各个阶段之间的依赖关系，然后把一个个 “任务集” 提交给底层的任务调度器（TaskScheduler）进行处理；Executor 向 SparkContext 申请任务，任务调度器将任务分发给 Executor 运行，同时，SparkContext 将应用程序代码发放给 Executor；
（4）任务在 Executor 上运行，把执行结果反馈给任务调度器，然后反馈给 DAG 调度器，运行完毕后写入数据并释放所有资源。
