HDFS架构师 5 - NameNode bug分析及双缓冲机制

一、回顾HDFS 元数据 管理

1、0 回顾HDFS 元数据 管理 流程

35} 0:8

1.1 写元数据(journalnode)超时会导致namenode进程异常退出

36} 0:25

1.2 解读等待写journalnode的结果的流程代码

37} 0: 29

2、高并发下的gc导致NM失去响应

2.0 FullGC 简单的 垃圾回收流程

38} 0:15 完

3、stopwatch 工具编写

39} 11

4、修复NM 的fullgc 问题

40} 0:20

5、回顾双缓存机制、修复namenode瞬时高并发导致的短暂不可用问题

41} 0:40
0:20 ——》 synchronized void waitIfAutoSyncScheduled() {
高并发下会hang起

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容