Hadoop权威指南-ch4 Hadoop的I/O(1)

注:本文涉及书中4.1小结

数据完整性

1. HDFS的完整性检测

检测数据损坏的方法:计算校验和

以下情况HDFS会检测数据的完整性:

(1)HDFS会对写入的所有数据计算校验和

(2)在读取数据时验证校验和。

(3)每个datanode会在一个后台线程中运行一个DataBlockScanner,从而定期验证存储在这个datanode上的所有数据块,以检测物理存储设备是否有损毁。

2. 客户端的校验和验证

Hadoop的LocalFileSystem执行客户端的校验和验证。

注:无论是HDFS的校验和,还是客户端的校验和,都可以被禁用

3. ChecksumFileSystem

LocalFileSystem通过ChecksumFileSystem来完成自己的任务,有了这个类,想其他没有校验和的文件系统加入校验和就非常简单。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Hadoop有一些数据I/O方面操作的工具,其中一些比Hadoop使用的都更普遍。例如数据完整性和压缩。但是当使用...
    单行线的旋律阅读 3,942评论 0 2
  • 注:本文是我学习Hadoop权威指南的时候一些关键点的记录,并不是全面的知识点 Hadoop 避免数据丢失的方法:...
    利伊奥克儿阅读 4,097评论 0 2
  • 首先,我们在使用前先看看HDFS是什麽?这将有助于我们是以后的运维使用和故障排除思路的获得。 HDFS采用mast...
    W_Bousquet阅读 9,802评论 0 2
  • 囿於自己的小圈子,你以為你所看到的世界,就是整個世界,其實不然…… 在精神的世界里,你可以走得更遠,看...
    易十三XX阅读 1,450评论 0 2
  • 曾经参加一个线上读书会,一位已到知天命之年的大姐朗读了一篇关于暗恋的文章,还分享了她曾经青涩却至今难忘的暗恋...
    一叶在线160313阅读 3,085评论 0 3

友情链接更多精彩内容