Hadoop中的NameNode和Secondary NameNode,BackUpNode

 NameNode在运行过程中,会记录HDFS文件系统的状态到一个本地的日志文件edits. 当NameNode发生重启(这种情况一般很少会发生,只有当服务器发生宕机),执行一下操作步骤:

1:从镜像中读取HDFS文件系统的状态。

2:将edits log中已记录的状态信息写入到镜像中,并且在一个空的edits log中继续执行状态记录操作。

edits log和镜像的合并操作只有在namenode启动的时候才会发生合并操作。

在一个比繁忙的集群中,长时间的运行会生成一个很大的edits log。Secondary NameNode会定期(合并的策略可以自定义配置,默认为1小时)的合并edits log和镜像。这样可以使得NameNode在重启时,节约镜像和Edits log的合并时间,节约内存空间。Secondary NameNode存储了最新的CheckPoint在NameNode目录下。所以,Secondary NameNode的镜像,如果需要的话,NameNode可以随时读取。


ChekPoint工作流程:


BackUp Node:


BackUp Node提供了与CheckPoint一样的功能(都是 用于备份集群状态,以便于发生故障时,能够恢复),

维护一个与NameNode一样的内存工作空间(NameSpace),并且实时更新最新的NameNode状态到BackUp Node自己的工作空间。同时接收NameNode的edits,持久化到硬盘。BackUp Node目的与CheckPoint一致,但是,BackUp Node动态的同步NameNode的状态到内存中,不需要通过创建checkpoints下载镜像和edits log,所以它的处理更加有效,快速。BackUp Node只需要保存镜像和edits log到它自己的命名空间。

 BackUp Node启动方式:bin/hdfs namenode -backup

ImportCheckPoint 没理解什么时候执行和执行方式。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容