HDFS集群有两类节点,并以管理者-工作者模式运行,即一个NameNode(管理者)和多个DataNode(工作者)。
一、NameNode(NN)
——基于内存存储 :不会和磁盘发生交换
·只存在内存中
·持久化
——NameNode主要功能
·接受客户端的读写服务
·收集DataNode汇报的Block列表信息
——NameNode保存metadata信息包括
·文件owership和permissions
·文件大小,时间
·(Block列表:Block偏移量),位置信息
·Block每副本位置(由DataNode上报)
二、NameNode持久化
——NameNode的metadate信息在启动后会加载到内存
——metadata存储到磁盘文件名为”fsimage”
——Block的位置信息不会保存到fsimage
——edits记录对metadata的操作日志。。。redis
三、DataNode(DN)
——本地磁盘目录存储数据(Block),文件形式
——同时存储Block的元数据信息文件
——启动DN时会向NN汇报block信息
——通过向NN发送心跳保持与其联系(3秒一次),如果NN 10分钟没有收到DN的心跳,则认为其已经lost,并copy其上的block到其它DN
为回馈大家,想要学习java、Java架构、大数据等技术的朋友,可以加我微信好友Nancy007001,免费提供录播资料供大家学习。
感谢大家的支持!!!
本文为原创作品,禁止转载!