RDD的任一分区出现故障,都可以根据依赖的RDD恢复过来。由于spark streaming中的所有数据的变换操作都是基于RDD的,因此只要输入数据集存在,所有的中间结果就可以计算出来。
1.对于工作节点失效
针对不同的输入源,有两种:
1)使用HDFS作为输入源:数据存储在HDFS上,所有数据都可以被重新计算,不会因为任何失败而丢失。
2)使用基于网络接收数据的数据源(kafka等):接收到的数据会在不同的节点复制,当一个工作节点失效时,可以从另一份还存在的数据中重新计算,但是当接收数据的节点失效,一部分数据就有可能丢失,此时接收线程会在其他节点启动继续接收数据。
2.驱动节点失效
主要利用checkpoint设置记录点实现驱动节点失效后的恢复。spark streaming周期性的将DStreaming的元信息写入HDFS,一旦驱动节点失效,丢失的streaming context可以从已经保存的记录点恢复出来,并重新启动。
spark streaming的容错处理
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- Spark Streaming 编程指南 概述 一个入门示例 基础概念 依赖 初始化 StreamingConte...
- Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理...
- 引言 随着实时数据的日渐普及,企业需要流式计算系统满足可扩展、易用以及易整合进业务系统。Structured St...