流式计算系统的特点
低延迟
容错性
数据不丢失
数据的送达
计算状态的持久化
计算迁移
故障恢复扩展能力
应用的逻辑表达能力
流式计算任务都会部署成由多个计算节点和流经这些节点的数据流构成的有向无环图(DAG)
系统架构
主从
P2P
DAG拓扑结构
构成DAG拓扑结构的元素是: 计算节点和流经各个计算节点的实时数据流.
DAG结构最常见的拓扑结构是: 流水线(最常见的方式), 乱序分组, 定向分组, 广播模式.
送达保证
至少送达一次
至多送达一次
恰好送达一次
系统容错
- 备用服务器, 热备份, 检查点机制.
Spark Streaming
Spark Streaming严格意义上说是一个micro-batch处理框架, 它把连续的数据流按照一定的时间间隔, 分成一系列连续的批数据, 组成DStream. 依托于Spark的处理核心, Spark Stream只需把DStream转化成RDD, 并把生成的RDD交给Spark核心处理就行了. 所以, spark-streaming类库要做的事情就是: 1. 对接外部数据流服务器; 2. 将外部流转化为DStream; 3. 定期向Spark-Core提交任务.
所以, 依托于Spark Core的强大功能, Spark Streaming要做的事情就变得非常的简单. 第一, 它不负责具体的计算; 第二, 数据存储也是借助Spark Core的BlockManager. 它要做的事情接受数据, 还有维护这几个定时任务.
几个核心类及其其功能:
ReceiverInputDStream
这个类的最终要的作用是: 桥接外部数据源以及内部DStream. 这是一个抽象类, 继承的子类需要定制不同的Receiver. 比如SocketInputDStream的Receiver是new SocketReceiver(host, port, bytesToObjects, storageLevel);KafkaInputDStream的Receiver是KafkaReceiver或者ReliableKafkaReceiver.Receiver
这个类是负责接收外部数据的, 这也是个抽象类, 自定义Receiver要自己实现onStart(),onStop(),restart()函数. 我们可以看一下SocketReceiver的实现, 非常简单.
Receiver的另一个任务是数据存储, 它内部定义了store方法, store方法要ReceiverSupervisor的具体存储逻辑. ReceiverSupervisor是Receiver的看护者, Receiver负责数据的接受逻辑, 它则负责数据的存储逻辑. 它内部有两个定时任务: blockIntervalTimer 和 blockPushingThread. ReceiverSupervisor接收到数据后, 先对数据作内存缓存(currentBuffer), blockIntervalTimer定期的将内存缓存currentBuffer中的数据封装成Block, 然后blockPushingThread持续的把刚刚构建的Blocks推送给BlockManager.同时还要把刚存储的BlockInfo推送给ReceiverTracker.
ReceiverTracker接到AddBlock消息之后把BlockInfo交给ReceivedBlockTracker, ReceivedBlockTracker记录这所有的接收到的Block. ReceivedBlockTracker在记录之前可以先写操作日志, 如果宕机可以从操作日志恢复. ReceivedBlockTracker记录的这些Block信息用于以后生成Job, 交给Spark-Core处理.
- JobGenerator
JobGenerator内部启动了一个定时任务, 周期性的生成Job和执行checkpoint. 生成Job之前先把从上次开始接收到的所有的Block取出来, 构建一个AllocatedBlocks, 存到内存中. 这一步是准备数据. 生成Job的逻辑在DStream的generateJob和compute函数中. compute函数最终会生成一个BlockRDD, 数据就是刚才我们Allocate的,receiverTracker.getBlocksOfBatch(validTime).getOrElse(id, Seq.empty). generateJob函数在拿到compute生成的RDD之后把它提交个SparkContext,context.sparkContext.runJob(rdd, emptyFunc).
至此, Spark Streaming的大概是如何工作的解释完了.
