BigData~03：Hadoop05 ~ HA集群搭建

Hadoop是一个环境敏感的框架，在Win和类Unix上安装的差别较大，但是一般我们都在Linux上进行安装，这里安装的版本为2.6.4，apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译；

一、环境准备

修改主机名，修改IP，添加主机名和IP的映射关系(/etc/hosts)，配置免密登录，配置防火墙(也可以直接关闭)；
安装JDK和配置环境变量；

二、集群安装规划

由于是HA集群，所以牵扯到的机器比以前稍多几台，当然也可以共用，提前做好集群的安装规划还是比较好的选择：

主机名	规划IP	要安装软件	角色
hdp1	192.168.70.130	JDK、hadoop	NameNode、DFSZKFailoverController
hdp2	192.168.70.131	JDK、hadoop	NameNode、DFSZKFailoverController(zkfc)
hdp3	192.168.70.132	JDK、hadoop	ResourceManager
hdp4	192.168.70.133	JDK、hadoop	ResourceManager
hdp5	192.168.70.135	JDK、hadoop、zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain
hdp6	192.168.70.136	JDK、hadoop、zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain
hdp7	192.168.70.137	JDK、hadoop、zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain

注意：
1. 在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby状态的NameNode则不对外提供服务，仅同步Active状态的NameNode的状态，以便能够在它失败时快速进行切换。hadoop2.0官方提供了两种HDFS的HA解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。对于QJM，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功，所以通常配置奇数个JournalNode；这里还配置了一个ZooKeeper集群，用于ZKFC(DFSZKFailoverController)故障转移，当Active状态的NameNode挂掉了，会自动切换Standby状态的NameNode为Active状态；
2. hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.6.4解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调；

三、开始安装

安装ZooKeeper集群：
- 解压tar.gz安装包：tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/apps；
- 修改配置：
  - 进入ZK的安装目录(后面简称：<ZK_HOME>)的conf文件夹：cp zoo_sample.cfg zoo.cfg；
  - 在zoo.cfg文件最后添加
    1. 数据输出目录dataDir=<your-hdp-data-dir>，默认是在/tmp文件夹下，不安全，并确保这个文件夹存在；
    2. 节点间的关系，以及通讯接口：2888端口号是zookeeper服务之间通信的端口。 3888端口是zookeeper与其他应用程序通信的端口：
```
server.1=hdp5:2888:3888
server.2=hdp6:2888:3888
server.3=hdp7:2888:3888
```
  - 把配置好的hadoop安装目录拷贝到hdp6和hdp7：
```
scp -r <ZK_HOME>/zookeeper-3.4.5/hdp6:<ZK_HOME>
scp -r <ZK_HOME>/zookeeper-3.4.5/hdp7:<ZK_HOME>
```
  - 并把节点编号写入各自节点数据输出目录的myid目录，这里的节点编号分别是：1，2，3：
```
echo <num> > <your-hdp-data-dir>/myid
```

安装Hadoop集群：

解压hadoop-2.6.4.tar.gz
配置环境变量，包括根路径(HADOOP_HOME)和bin；

修改配置文件，这些配置文件全部位于<HADOOP_HOME>/etc/hadoop目录下：

在hadoo-env.sh文件中添加JAVA_HOME
```
export JAVA_HOME=<your-java-home>
```

修改core-site.xml，在最后添加：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.100.101:9000</value>
        <description>The name of the default file system</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/app/hdpdata/</value>
        <description>A base for other temporary directories</description>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hdp5:2181,hdp6:2181,hdp7:2181</value>
        <description>A list of ZooKeeper server addresses, separated by commas, that are to be used by the ZKFailoverController in automatic failover.</description>
    </property>
</configuration>

修改hdfs-site.xml，在最后添加：

<configuration>
    <property>
        <name>dfs.nameservices</name>
        <value>ns</value>
        <description>指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致</description>
    </property>
    <property>
        <name>dfs.ha.namenodes.ns</name>
        <value>nn1,nn2</value>
        <description>ns下面有两个NameNode，分别是nn1，nn2</description>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.ns.nn1</name>
        <value>hdp1:9000</value>
        <description>nn1的RPC通信地址</description>
    </property>
    <property>
        <name>dfs.namenode.http-address.ns.nn1</name>
        <value>hdp1:50070</value>
        <description>nn1的http通信地址</description>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.ns.nn2</name>
        <value>hdp2:9000</value>
        <description>nn2的RPC通信地址</description>
    </property>
    <property>
        <name>dfs.namenode.http-address.ns.nn2</name>
        <value>hdp2:50070</value>
        <description>nn2的http通信地址</description>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hdp5:8485;hdp6:8485;hdp7:8485/ns</value>
        <description>指定NameNode的edits元数据在JournalNode上的存放位置</description>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/home/hdp5/journaldata</value>
        <description>指定JournalNode在本地磁盘存放数据的位置</description>
    </property>
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
        <description>开启NameNode失败自动切换</description>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.ns</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        <description>配置失败自动切换实现方式</description>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
        sshfence
        shell(/bin/true)
        </value>
        <description>配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行</description>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/shreker/.ssh/id_rsa</value>
        <description>使用sshfence隔离机制时需要ssh免登陆</description>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
        <description>配置sshfence隔离机制超时时间</description>
    </property>
</configuration>

修改mapred-site.xml，在最后添加：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <description>指定MR资源调度框架为yarn</description>
    </property>
</configuration>

修改yarn-site.xml，在最后添加：

<configuration>
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
        <description>开启RM高可用</description>
    </property>
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
        <description>指定RM的cluster id</description>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
        <description>指定RM的名字</description>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hdp3</value>
        <description>指定RM的地址</description>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hdp4</value>
        <description>指定RM的地址</description>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hdp5:2181,hdp6:2181,hdp7:2181</value>
        <description>指定zk集群地址</description>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        <description>指定服务名称</description>
    </property>
</configuration>

指定当前节点的子节点，修改slaves文件：
```
hdp5
hdp6
hdp7
```

分发配置好的Hadoop到后面的机器：

scp -r <local-hadoop-home-dir> <user>@<host>:<target-parent-dir>

启动集群
- 在hdp5、hdp6、hdp7上启动zookeeper集群：
```
zkServer.sh start
```
- 在hdp5、hdp6、hdp7上启动JournalNode：
```
hadoop-daemon.sh start journalnode
```
- 分别在ns的nn1和nn2上初始化HDFS的NameNode，注意两个cluster-id必须一致，完成之后就会把元数据拷贝到对应的StandBy的机器上：
```
hdfs namenode -format -clusterID <your-cluster-id>
```
- 初始化ZKFC操作：
```
hdfs zkfc -formatZK
```
- 启动HDFS(根据规划在hdp1上执行)：
```
start-dfs.sh
```
- 启动YARN(为了性能把NameNode和ResourceManager放在不同的机器上，选择hdp2)：
```
start-yarn.sh
```

四、验证测试

访问浏览器：http://hdp1:50070和http://hdp2:50070；
验证HA
- 上传文件；
- 浏览器访问，如1；
- 干掉hdp1上Active的NameNode：kill -9 <nn-pid>；
- 浏览器访问，如1，发现hdp2上NameNode的状态已经切换为Active；
- 启动刚才干掉的NameNode，状态切换为StandBy；

五、常用集群测试命令

查看hdfs的各节点状态信息
```
hdfs dfsadmin -report
```
获取一个NameNode节点的HA状态
```
hdfs haadmin -getServiceState nn1
```
单独启动一个NameNode进程
```
hadoop-daemon.sh start namenode
```
单独启动一个zkfc进程
```
hadoop-daemon.sh start zkfc
```

最后编辑于：2019.03.26 16:55:04

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 219,366评论 6赞 508
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 93,521评论 3赞 395
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 165,689评论 0赞 356
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,925评论 1赞 295
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,942评论 6赞 392
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,727评论 1赞 305
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,447评论 3赞 420
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,349评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,820评论 1赞 317
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,990评论 3赞 337
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 40,127评论 1赞 351
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,812评论 5赞 346
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,471评论 3赞 331
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 32,017评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 33,142评论 1赞 272
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,388评论 3赞 373
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 45,066评论 2赞 355