RDD的任一分区出现故障，都可以根据依赖的RDD恢复过来。由于spark streaming中的所有数据的变换操作都是基于RDD的，因此只要输入数据集存在，所有的中间结果就可以计算出来。
1.对于工作节点失效
针对不同的输入源，有两种：
1)使用HDFS作为输入源：数据存储在HDFS上，所有数据都可以被重新计算，不会因为任何失败而丢失。
2)使用基于网络接收数据的数据源(kafka等)：接收到的数据会在不同的节点复制，当一个工作节点失效时，可以从另一份还存在的数据中重新计算，但是当接收数据的节点失效，一部分数据就有可能丢失，此时接收线程会在其他节点启动继续接收数据。
2.驱动节点失效
主要利用checkpoint设置记录点实现驱动节点失效后的恢复。spark streaming周期性的将DStreaming的元信息写入HDFS，一旦驱动节点失效，丢失的streaming context可以从已经保存的记录点恢复出来，并重新启动。
spark streaming的容错处理
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- Spark Streaming 编程指南 概述 一个入门示例 基础概念 依赖 初始化 StreamingConte...
- Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理...
- 引言 随着实时数据的日渐普及，企业需要流式计算系统满足可扩展、易用以及易整合进业务系统。Structured St...
