hadoop namenode 元数据计算公式

元数据占用内存空间说明 

对象类别 估算大小(bytes) 计算方法 估计总大小(bytes) 

文件     224     224+2*文件名长度     250 

目录     264     264+2*文件名长度     290 

块     152            152+72*副本数             368

NameNode元数据内存估算举例 

一个典型集群拥有如下信息 

文件数量:10 600 000 

目录数量:310 000 

块数量:13 300 000

计算元数据需要内存: 250x 10600000+290x310000 +368x13300000

    = 7 634 300 000(bytes)≈ 7.63G

一个快按照 128M存储数据,可以按照如下模式

13300000X128MB

实际测算:在该NameNode实际使用内存9G。实际计算中内存更大是因为内存中除了元数据还有其他信息。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 关于Mongodb的全面总结 MongoDB的内部构造《MongoDB The Definitive Guide》...
    中v中阅读 32,130评论 2 89
  • 转载文/作者:沈暮夏 作者介绍:19届新概念全国作文大赛用此文入围者,厦门人,据说最终获得了二等奖。 此作者对自己...
    浅戈易阅读 4,185评论 0 5
  • 表姐妹好好 人虚度青春年华 然青春极易褪色 挥霍青春的人 幸福终将被抛弃 青春着实有限 时光转移 青春...
    朵澜日记阅读 2,498评论 0 0
  • 【三节课9点钟】1分钟了解互联网大事 2017年12月15日 星期五 ——————————————— ...
    思维广阅读 923评论 0 0
  • 为了养生长寿,现在的人无所不用其极,但经常是读了许多养生知识却还是一头雾水。其实,老祖宗们几千来总结了很多实用的养...
    赵肃江阅读 3,576评论 0 1