大数据Hadoop分布式文件系统HDFS的两类节点NameNode和DataNode

HDFS集群有两类节点,并以管理者-工作者模式运行,即一个NameNode(管理者)和多个DataNode(工作者)。

HDFS官方架构图

一、NameNode(NN)

——基于内存存储 :不会和磁盘发生交换

·只存在内存中

·持久化

——NameNode主要功能

·接受客户端的读写服务

·收集DataNode汇报的Block列表信息

——NameNode保存metadata信息包括

·文件owership和permissions

·文件大小,时间

·(Block列表:Block偏移量),位置信息

·Block每副本位置(由DataNode上报)

二、NameNode持久化

——NameNode的metadate信息在启动后会加载到内存

——metadata存储到磁盘文件名为”fsimage”

——Block的位置信息不会保存到fsimage

——edits记录对metadata的操作日志。。。redis

三、DataNode(DN)

——本地磁盘目录存储数据(Block),文件形式

——同时存储Block的元数据信息文件

——启动DN时会向NN汇报block信息

——通过向NN发送心跳保持与其联系(3秒一次),如果NN 10分钟没有收到DN的心跳,则认为其已经lost,并copy其上的block到其它DN

为回馈大家,想要学习java、Java架构、大数据等技术的朋友,可以加我微信好友Nancy007001,免费提供录播资料供大家学习。

感谢大家的支持!!!

本文为原创作品,禁止转载!

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容