如何减少NameNode启动时间

        那么这样问题又来了,如果我的系统运行了很长很长时间,edits特别大,所以在下一次namenode重启时,要重放edits需要花费很长很长时间。可以不可以在系统运行期间定期就把fsimage和edits同步一次呢,让edits始终保持很小的数据量,以便于namenode快速重启。在1.x版本中引进了secondarynamenode的解决方案:

     (1)、SecondaryNamenode会定期的和NameNode通信,请求其停止使用edits文件,暂时将新的写操作写到一个新的文件edit.new上来,这个操作是瞬间完成,上层写日志的函数完全感觉不到差别;

    (2)、SecondaryNamenode通过HTTP GET方式从NameNode上获取到fsimage和edits文件,并下载到本地的相应目录下;

    (3)、SecondaryNamenode将下载下来的fsimage载入到内存,然后一条一条地执行edits文件中的各项更新操作,使得内存中的fsimage保存最新;这个过程就是edits和fsimage文件合并;

    (4)、SecondaryNamenode执行完(3)操作之后,会通过post方式将新的fsimage文件发送到NameNode节点上

    (5)、NameNode将从SecondaryNamenode接收到的新的fsimage替换旧的fsimage文件,同时将edit.new替换edits文件,通过这个过程edits就变小了!

        在hadoop 2.x 基于HA的namenode中对元数据的管理做了进一步的改进。取消了fsimage、edits和secondarnamenode机制。在HA中,通过从节点(nns)和一组称作JournalNodes的进程来保证元数据的稳定性。在HA中,JournalNodes主要作用是保持nns和nna之间的通信和数据同步。工作原理为:主节点nna(namenode active )始终处于工作的状态,当元数据发生变化时,主节点通知journalnode进程,nns从节点从journalnode进程中读取元数据的变化并在自身的自身中进行重放,时刻关注主节点元数据的变化,当主节点嗝屁了之后,从节点以完美的元数据同步接管主节点的相关任务和应用请求。

H

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • HDFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系...
    大佛爱读书阅读 892评论 0 0
  • 终极算法 关注微信号每天收听我们的消息终极算法为您推送精品阅读 前言 Hadoop 在大数据技术体系中的地位至关...
    Yespon阅读 130,493评论 12 168
  • adb devices 指令实例讲解 状态信息有3种状态: 1)device状态:表示设备或模拟器已经连接到adb...
    粥一样温柔阅读 1,138评论 0 1
  • 什么是 TCP/IP ?计算机与网络设备要相互通信,双方就必须基于相同的方法。比如,如何探测到通信目标、由哪一边先...
    Jaypc阅读 251评论 0 0
  • 我其实想过好几次今天可能遇到的场景,但是万万没有想到会是这样,这么仓促,我以为她送我上车的时候,我能亲她一下,或者...
    大起伏的小家伙阅读 241评论 0 1