运行原理
- 当一个spark应用被提交时，首先要为这个spark APPlication构建基本的运行环境，即由任务节点Driver创建一个sparkcontext；
- sparkContext向cluster manager 资源管理容器注册并任务申请运行Excuter资源。
- cluster manager 资源管理容器为excuter分配资源并启动excuter进程，excuter向driver进行反向注册并申请分配task，同时将运行情况将随着心跳发送到cluster manager资源管理容器上
- sparkcontext根据程序中的rdd的依赖关系构建DAG有向无环图，并将DAG作为一个job提交给DAGscheduler进行解析成为stage，并把该stage中的所有task组成为taskset发送给taskscheduler
- taskscheduler将task发放给excuter运行，同时sparkcontext将应用程序代码发放给excuter
- excuter将task丢到线程池中执行，把执行结果反馈给taskscheduler，然后再反馈给DAGscheduler，运行完毕后写入数据并释放所有资源
原理补充
- 每个Application获取专属的executor进程，该进程在Application期间一直驻留，并以多线程方式运行tasks。
- Spark与资源管理器无关，只要能够获取executor进程，并能保持相互通信就可以了
- 提交SparkContext的Client应该靠近Worker节点(运行Executor的节点)，最好是在同一个Rack(机架)里，因为Spark Application运行过程中SparkContext和Executor之间有大量的信息交换;
- Task采用了数据本地性和推测执行的优化机制。关键方法：taskIdToLocations、getPreferedLocations
任务监控与结果获取
- 任务监控：
TaskScheduler通过回调函数通知DAGScheduler具体的Executor的生命状态,以及job和task的运行情况，DAGScheduler根据这些任务的状态信息进行进一步的维护作业和重新执行计算。 - 结果获取：
- 两种结果：
- 中间结果： 对于运算的中间结果，返回给DAGscheduler的是一个mapstatus里的相关存储信息
- 最终结果： 对于运算的最终结果，返回给DAGscheduler的是运算结果的本身
- 两种类型：
- 如果结果足够小，则直接放在DirectTaskResult对象内中
- 如果超过特定尺寸则在Executor端会将DirectTaskResult先序列化，再把序列化的结果作为一个数据块存放在BlockManager中，然后将BlockManager返回的BlockID放在IndirectTaskResult对象中返回给 TaskScheduler，TaskScheduler进而调用TaskResultGetter将IndirectTaskResult中的BlockID取出并 通过BlockManager最终取得对应的DirectTaskResult。
- 两种结果：
数据读取与保存
- spark支持的文件格式： Text文件，Json文件，Csv文件，Sequence文件，Objcet文件
- spark支持的文件系统： 本地文件系统，HDFS文件系统，Hbase,JDBC
累加器与广播变量
- 问题背景：
在默认情况下，当Spark在集群的多个不同节点的多个任务上并行运行一个函数时，它会把函数中涉及到的每个变量，在每个任务上都生成一个副本。但是，有时候需要在多个任务之间共享变量，或者在任务(Task)和任务控制节点(Driver Program)之间共享变量。 - 概念：
- 累加器：累加器支持在所有不同节点之间进行累加计算，工作节点上的任务不能访问累加器的值。从这些任务的角度来看，累加器是一个只写变量。累加器必须放在action算子中使用，transform算子会使累加器不准确
- 广播变量：广播变量用来把变量在所有节点的内存之间进行共享，在每个机器上缓存一个只读的变量，而不是为机器上的每个任务都生成一个副本。
- 意义：
- 累加器解决了共享变量进行计算的问题，
- 广播变量将任务级别变成了节点级别的，节约了机器资源
- 补充：
- 广播变量：
- 可以理解广播就是一个公共的共享变量
- 将一个数据集广播后，不同的Task都可以在节点上获取到
- 每个节点只存一份
- 如果不使用广播，每一个Task都会拷贝一份数据集，造成内存资源浪费
- Broadcast和Accumulators的区别
- Broadcast(广播变量)允许程序员将一个只读的变量缓存在每台机器上，而不用在任务之间传递变量。广播变量可以进行共享，但是不可以进行修改
- Accumulators(累加器)是可以在不同任务中对同一个变量进行累加操作
容错机制
- 通过血缘关系重新构建
- 通过持久化方案进行重新加载
