hadoop的HA简单说明
hadoop的HDFS集群的分布式存储是靠NameNode节点(namenode负责响应客户端请求)来实现。NameNode对应整个hadoop来说,无非是很重要的。
在非HA集群中一旦NameNode宕机,虽然元数据不会丢失,但整个集群将无法对外提供服务,导致HDFS服务的可靠性不高,这在实际应用场景中显然是不可行的。
但是,如果有2个NameNode同时响应,肯定会产生数据混乱。也就是brain split(脑裂)。所以我们一般不会采用主主模式(active/active模式),而会采用主备模式(active/standby模式)
这样,一旦active节点宕机,standby节点立即切换到active模式。
简单说明
我们知道,NameNode主要是用来保存HDFS的元数据信息,比如命名空间信息,块信息等。当它运行的时候,这些信息是存在内存中的。由于NameNode的重要性,很多处理包括合并信息都会交给SecondaryNameNode去做,就算这样,NameNode还是可能会宕机
Zookeeper作用
hadoop1.x,由于只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1.x中的单点问题。
在hadoop2.x中,如图
这里可以通过共享存储,来在两个NN间同步edits信息,会存储在Journal Node中
具体NN的存活状态,通过FailoverController通过Heartbeat心跳来反馈给ZooKeeper,从而放置Hadoop脑裂的产生,并且当active的NN倒掉后,standby的NN马上变成active状态,替代对应的功能。
简单测试
这里自己用的6台机器做测试
大致如下:
ha01
ZooKeeper
NN(active)
ResourceManager(active)
ha02
ZooKeeper
NN(standby)
ha03
ZooKeeper
ResourceManager(standby)
ha04
DN
NodeManager
JournalNode
ha05
DN
NodeManager
JournalNode
ha06
DN
NodeManager
JournalNode
具体的搭建,包括hosts,免密登录,ZooKeeper集群及配置,hadoop集群及配置,略
具体测试
我们可以在2台NN的50070端口浏览器页面,看见对应NN的状态,分别是active和standby的
我们手动kill掉active的NN,这个时候,可以发现standby的NN变成类active的。
我们再次启动kill掉的NN,发现会变成standby的状态
ResourceManager同理,不说明了