查看HDFS的元数据文件fsimage和编辑日志edits

HDFS查看edits

命令hdfs oev用于查看edits文件。

edits

该命令需要以下参数:

必须参数:

-i,–inputFile <arg> 输入edits文件,如果是xml后缀,表示XML格式,其他表示二进制。

-o,–outputFile <arg> 输出文件,如果存在,则会覆盖。

可选参数:

-p,–processor <arg> 指定转换类型: binary (二进制格式), xml (默认,XML格式),stats (打印edits文件的静态统计信息)

**-h,–help ** 显示帮助信息

-f,–fix-txids 重置输入edits文件中的transaction IDs

-r,–recover 使用recovery模式,跳过eidts中的错误记录。

**-v,–verbose ** 打印处理时候的输出。

例子1****:

hdfs oev -i /data1/hadoop/dfs/name/current/edits_0000000000019382469-0000000000019383915 -o /home/hadoop/edits.xml

未指定-p选项,默认转换成xml格式,查看edits.xml文件:

edits

在输出的xml文件中,每个RECORD记录了一次操作,比如图中的OP_ADD代表添加文件操作,OP_MKDIR代表创建目录操作。里面还记录了文件路径(PATH),修改时间(MTIME)、添加时间(ATIME)、客户端名称(CLIENT_NAME)、客户端地址(CLIENT_MACHINE)、权限(PERMISSION_STATUS)等非常有用的信息。

当edits文件破损进而导致HDFS文件系统出现问题时,可以通过将原有的binary文件转换为xml文件,并手动编辑xml文件然后转回binary文件来实现。

例子2:

hdfs oev -i /data1/hadoop/dfs/name/current/edits_0000000000019382469-0000000000019383915 -o /home/hadoop/edits.txt -p stats

指定-p stats选项,用于输出该edits文件中的统计信息:

查看edits.txt,打印出该edits文件中每种操作的数量。

edits
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 终极算法 关注微信号每天收听我们的消息终极算法为您推送精品阅读 前言 Hadoop 在大数据技术体系中的地位至关...
    Yespon阅读 130,502评论 12 168
  • 一、系统参数配置优化 1、系统内核参数优化配置 修改文件/etc/sysctl.conf,添加如下配置,然后执行s...
    张伟科阅读 3,804评论 0 14
  • 赶完作业, 快夜里十二点了,我上完卫生间着急着上床。恍惚间,突然瞥见书房居然还亮着灯,咦!谁忘了关灯?我心一动...
    久久0820阅读 131评论 0 0
  • 看着车子渐行渐远,我凄然转身回屋。 从门口到客厅沙发的路是那么艰难,这双老腿一点力气都没有,走起来...
    行白轩阅读 125评论 0 0
  • 作为一个职场人,在超过十年的职场生涯中,我以为我没能站在更高的层级和更广的局面上做更多思考,但在人生角色上有了转变...
    微光无涯阅读 195评论 0 0