spark streaming的容错处理

RDD的任一分区出现故障,都可以根据依赖的RDD恢复过来。由于spark streaming中的所有数据的变换操作都是基于RDD的,因此只要输入数据集存在,所有的中间结果就可以计算出来。
1.对于工作节点失效
针对不同的输入源,有两种:
1)使用HDFS作为输入源:数据存储在HDFS上,所有数据都可以被重新计算,不会因为任何失败而丢失。
2)使用基于网络接收数据的数据源(kafka等):接收到的数据会在不同的节点复制,当一个工作节点失效时,可以从另一份还存在的数据中重新计算,但是当接收数据的节点失效,一部分数据就有可能丢失,此时接收线程会在其他节点启动继续接收数据。
2.驱动节点失效
主要利用checkpoint设置记录点实现驱动节点失效后的恢复。spark streaming周期性的将DStreaming的元信息写入HDFS,一旦驱动节点失效,丢失的streaming context可以从已经保存的记录点恢复出来,并重新启动。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容