spark-streaming

.set("spark.streaming.receiver.writeAheadLog.enable", "true") // 

To ensure zero data loss, enable the Write Ahead Logs (introduced in Spark 1.2). This synchronously saves all the received Kafka data into write ahead logs on a distributed file system (e.g HDFS), so that all the data can be recovered on failure. See Deploying section in the streaming programming guide for more details on Write Ahead Logs.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • **2014真题Directions:Read the following text. Choose the be...
    又是夜半惊坐起阅读 10,008评论 0 23
  • 活的太紧张了, 希望自己放松下来, 放下包袱, 才能专心于学业。
    LittleWang小王子阅读 203评论 0 0
  • 原谅我像一个孩子想法天真,笑容单纯。原谅我 在残旧的梦里迷了路。 原谅我站在明媚的大太阳下,突然哀伤地落泪。 原谅...
    wu枫阅读 228评论 0 0
  • 第一次:当它本可进取时,却故作谦卑;第二次:当它在空虚时,用爱欲来填充;第三次:在困难和容易之间,它选择了容易;第...
    flyseeksky阅读 167评论 0 0