HDFS文件系统数据备份

HDFS快照是一个只读的基于时间点文件系统拷贝。快照可以是整个文件系统的 也可以是一部分。常用来作为数据备份,防止用户错误和容灾快照功能。

HDFS实现功能:

  • Snapshot 创建的时间 复杂度为O(1),但是不包括INode 的寻找时间
  • 只有当修改SnapShot时,才会有额外的内存占用,内存使用量为O(M),M 为修改的文件 或者目录数
  • 在DataNode上面的blocks 不会复制,做Snapshot 的文件是纪录了block的列表和文件的 大小,但是没有数据的复制
  • Snapshot 并不会影响HDFS 的正常操作:修改会按照时间的反序记录,这样可以直接读 取到最新的数据。快照数据是当前数据减去修改的部分计算出来的。

快照命令

  • 设置一个目录为可快照
    $ bin/hdfs dfsadmin -allowSnapshot <path>
  • 取消目录可快照
    $ bin/hdfs dfsadmin -disallowSnapshot <path>
  • 生成快照
    $ bin/hdfs dfs -createSnapshot <path> [<snapshotName>]
  • 删除快照
    $ bin/hdfs dfs -deleteSnapshot <path> <snapshotName>
  • 列出所有可快照目录
    $ bin/hdfs lsSnapshottableDir
  • 比较快照之间的差异
    $ bin/hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot>

具体例子看光官网

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • dfsadmin主要操作命令 dfsadmin [GENERIC_OPTIONS] [-report] [-saf...
    itpark阅读 7,244评论 1 8
  • 首先,我们在使用前先看看HDFS是什麽?这将有助于我们是以后的运维使用和故障排除思路的获得。 HDFS采用mast...
    W_Bousquet阅读 4,292评论 0 2
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,268评论 19 139
  • 他今晚有点高兴。 他站在路边,脑海里又浮现出那张熟悉的脸,和他以前追过的女孩子很像,他甩了甩头...
    鹤与文阅读 215评论 0 0
  • 一提起上海,好像无法和江南联系起来。江南的意象,常常是一江朦胧,两岸相思。而每次去上海,印象都是阴冷阴冷的,湿哒哒...
    王地阅读 405评论 0 0