0x00 准备工作
hadoop-2.6.0.tar.gz以及zookeeper-3.4.8.tar.gz
Apache网站上提供的Hadoop包是32位的,关于如何在64位机器上如何重新编译Hadoop,请参考我的上一篇文章:编译Hadoop2.6.0
说明:Hadoop和Zookeeper的工作目录分别为:
/opt/hadoop-2.6.0
/opt/zookeeper-3.4.8
下图是关于Hadoop HDFS2.x HA整个架构的描述:
关于Hadoop1.x和Hadoop2.x的异同,这里不再描述,不懂的话请自行Google或参考Apache官方文档。
0x01 安装环境介绍
我们用5个节点来完成Hadoop2.6.0的分布式安装。如下图:
我们用1来表示每个节点所拥有的角色。
NN: NameNode DN: DataNode JN: JournalNode ZK: Zookeeper
ZKFC: DFSZKFailoverController
RM: ResourceManager NM: NodeManager
0x02 安装
--安装前准备
[1] 修改主机的hostname
修改hostname,只修改一处就行![/etc/sysconfig/network]
这里纠正一下上一篇文章里提到的修改hostname的问题。如果按照上次修改hostname的方法,到最后运行Hadoop的时候,会遇到各种问题。因此hostname这个地方还是非常重要的!
[2] 修改hosts文件(/etc/hosts)
添加以下记录:
192.168.187.128 nn.athrob.com
192.168.187.129 snn.athrob.com
192.168.187.130 dn1.athrob.com
192.168.187.131 dn2.athrob.com
192.168.187.132 dn3.athrob.com
[3] JDK环境变量设置
这个不多说,不会请百度或Google。
--文件配置
关于一些配置文件内容的理解,可以参考hadoop的user guide。
我们采用在一台机器上修改好相应的配置文件,然后远程拷贝到其他机器的方法来完成Hadoop2.6.0的完全分布式安装。
以下所有的配置,均在Node1这个节点上配置,然后在远程拷贝到相应的其他节点上去。
[1] 修改 hadoop-env.sh,yarn-env.sh中的JAVA_HOME
[2] 修改hdfs-site.xml,配置如下:
[3] 修改core-site.xml,配置如下:
[4] 修改mapred-site.xml,配置如下:
[5] 修改yarn-site.xml,配置如下:
[6] 修改slaves,配置如下:
--Zookeeper配置
从前面可以看到,Zookeeper节点在Node1,Node2,Node3上。因此我们也是在Node1上配置好之后,再远程拷贝到Node2和Node3上。
首先加上Zookeeper环境变量
export ZK_HOME=/opt/zookeeper-2.4.8
export PATH=$PATH:$ZK_HOME/bin
关于Zookeeper的配置内容理解,可以参考zookeeper的guide。
zookeeper的配置目录为:zookeeper-3.4.8/conf
配置文件为:zoo.cfg
解压好的zookeeper没有zoo.cfg这个文件,但是有zoo_sample.cfg,因此我们复制它就OK。
cp zoo_sample.cfg zoo.cfg
注释掉dataDir=/tmp/zookeeper
添加
dataDir=/opt/zookeeper
server.1=nn.athrob.com:2888:3888
server.2=snn.athrob.com:2888:3888
server.3=dn1.athrob.com:2888:3888
由于/opt/zookeeper这个文件夹不存在,因此,我们要创建一个。
mkdir /opt/zookeeper
从zookeeper的文档我们可以看到,在它的工作目录下,需要一个myid的文件,但是这个文件现在是没有的,因此我们要创建一个。
touch /opt/zookeeper/myid
文件内容添加server的ID:1
因此,我们把zookeeper的配置文件从Node1拷贝到Node2,Node3之后,也要对应的修改myid文件中的内容。
由于前面我们配置的是:
【server.2=snn.athrob.com:2888:3888 】 --对应Node2】
【server.3=dn1.athrob.com:2888:3888 】 --对应Node3】
所以,Node2中myid文件内容是2;相应的Node3中myid文件内容就是3。
--运行
$在运行之前,我们需要吧Hadoop整个目录从Node1拷贝到Node2,Node3,Node4,Node5.
scp -r hadoop-2.6.0 root@snn.athrob.com:/opt/
scp -r hadoop-2.6.0 root@dn1.athrob.com:/opt/
scp -r hadoop-2.6.0 root@dn2.athrob.com:/opt/
scp -r hadoop-2.6.0 root@dn3.athrob.com:/opt/
$以及拷贝Zookeeper和相应的配置目录
scp -r /opt/zookeeper-3.4.8 root@snn.athrob.com:/opt/
scp -r /opt/zookeeper-3.4.8 root@dn1.athrob.com:/opt/
注:拷贝zookeeper的安装目录
scp -r /opt/zookeeper/ root@snn.athrob.com:/opt/
scp -r /opt/zookeeper/ root@snn.athrob.com:/opt/
注:拷贝zookeeper的dataDir,不要忘记在Node2,Node3上修改myid文件中的内容!
$在Node1,Node2,Node3节点上启动Zookeeper
zkServer.sh start
$在Node3,Node4,Node5节点上启动JournalNode
/opt/hadoop-2.6.0/sbin/hadoop-daemon.sh start journalnode
$在Node1节点上格式化NameNode
/opt/hadoop-2.6.0/bin/hadoop namenode -format
$然后启动该NameNode
/opt/hadoop-2.6.0/sbin/hadoop-daemon.sh start namenode
$在没有格式化NameNode的Node2节点上复制Node1节点的fsimage
/opt/hadoop-2.6.0/bin/hdfs namenode -bootstrapStandby
注:在执行-bootstrapStandby之前请确保Node1节点上的NameNode已经正常启动!
$然后在其中一个NameNode节点(Node1或Node2)上初始化zkfc
/opt/hadoop-2.6.0/bin/hdfs zkfc -formatZK
如果没有初始化zkfc,启动完成后发现log日志里报这样一个错误:
org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller. Parent znode does not exist.Run with -formatZK flag to initialize ZooKeeper.
#############################################################
如果没有任何问题的话,hadoop就能顺利启动运行了!
/opt/hadoop-2.6.0/sbin/start-dfs.sh
/opt/hadoop-2.6.0/sbin/start-yarn.sh
#############################################################
不足之处,请批评指正。
如有问题,请私信联系。
谢谢!