Hadoop-文件put的过程

主要通过日志分析文件put的过程。

操作命令:

hadoop fs -put test /

NameNode日志:

2018-12-24 22:20:52,051 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* allocate blk_1073741828_1004, replicas=192.168.228.130:9866 for /test._COPYING_

2018-12-24 22:20:52,119 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: BLOCK* blk_1073741828_1004 is COMMITTED but not COMPLETE(numNodes= 0 <  minimum = 1) in file /test._COPYING_

2018-12-24 22:20:52,526 INFO org.apache.hadoop.hdfs.StateChange: DIR* completeFile: /test._COPYING_ is closed by DFSClient_NONMAPREDUCE_-230280993_1

解读:
namenode会分配一个名为blk_1073741828_1004的Block。
然后提交。

DataNode日志:

2018-12-25 06:20:43,302 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Receiving BP-1758452078-192.168.228.128-1545657860161:blk_1073741828_1004 src: /192.168.228.128:40704 dest: /192.168.228.130:9866

2018-12-25 06:20:43,314 INFO org.apache.hadoop.hdfs.server.datanode.DataNode.clienttrace: src: /192.168.228.128:40704, dest: /192.168.228.130:9866, bytes: 44, op: HDFS_WRITE, cliID: DFSClient_NONMAPREDUCE_-230280993_1, offset: 0, srvID: 8f7f078d-2a2c-41a9-bc1e-e9fd46e8c190, blockid: BP-1758452078-192.168.228.128-1545657860161:blk_1073741828_1004, duration(ns): 8279872

2018-12-25 06:20:43,314 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: PacketResponder: BP-1758452078-192.168.228.128-1545657860161:blk_1073741828_1004, type=LAST_IN_PIPELINE terminating

解读:
DataNode从master接收名为blk_1073741828_1004的块。
并创建offset、blockid、srvid等。

存储位置:

[root@slave2 subdir0]# pwd
/data/hadoop/hdfs/dn/current/BP-1758452078-192.168.228.128-1545657860161/current/finalized/subdir0/subdir0
[root@slave2 subdir0]# cat blk_1073741828
1111
2222222222
33333333333333
444444444444

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 首先,我们在使用前先看看HDFS是什麽?这将有助于我们是以后的运维使用和故障排除思路的获得。 HDFS采用mast...
    W_Bousquet阅读 9,749评论 0 2
  • 一、系统参数配置优化 1、系统内核参数优化配置 修改文件/etc/sysctl.conf,添加如下配置,然后执行s...
    张伟科阅读 9,185评论 0 14
  • 一、目标 HDFS 全称hadoop分布式文件系统,其最主要的作用是作为 Hadoop 生态中各系统的存储服务。 ...
    Alukar阅读 7,317评论 1 18
  • 经验多了,就会直接行动,但是每个人想要的结果不一样,所以每次新的行动要从以往的经验里找规律,最后在对人对事的进行有...
    高密中百阅读 1,235评论 0 0
  • ——最近在看《你好,旧时光》,看到里面的武老师对宏志班的两个学生的关心,感触很深,令我想到了我的初中老师。 -01...
    琉璃印怡阅读 2,435评论 0 0