环境准备

节点四个:
192.168.199.5(node1);
192.168.199.6(node2);
192.168.199.7(node3);
192.168.199.8(node4);
hadoop3.0.0，下载地址: http://www-us.apache.org/dist/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz
zookeeper3.4.10，下载地址: http://www-eu.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

节点分布

QQ截图20180106105243.jpg

(1代表这个节点需要安装)

NN: nameNode
DN: dataNode
ZK: zookeeper
ZKFC: ZKFailoverController
JN: journalnode
RM: ResourceManager
DM: NodeManager

分布式的整体架构:

QQ截图20180106104703.jpg

步骤

在node1四个节点上解压handoop: tar -zxvf hadoop-3.0.0.tar.gz
在node1上,进入启动脚本目录: cd hadoop-3.0.0/etc/hadoop/,修改文件: vim hadoop-env.sh 修改:export JAVA_HOME=/root/jdk1.8
在node1上,配置nameNode的HA,在目录/etc/hadoop/,修改文件: vim hdfs-site.xml,下面是文件的所有配置:

<configuration>
  <!--服务名，用于zookeeper识别 -->
  <property>
    <name>dfs.nameservices</name>
    <value>chenzp</value>
  </property>
  <!--配置每个nameNode的id-->
  <property>
    <name>dfs.ha.namenodes.chenzp</name>
    <value>nn1,nn2</value>
  </property>
  <!--配置nameNode rpc协议-->
  <property>
    <name>dfs.namenode.rpc-address.chenzp.nn1</name>
    <value>node1:9820</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.chenzp.nn2</name>
    <value>node2:9820</value>
  </property>
  <!--配置nodeNode的http访问地址-->
  <property>
    <name>dfs.namenode.http-address.chenzp.nn1</name>
    <value>node1:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.chenzp.nn2</name>
    <value>node2:9870</value>
  </property>
  <!--配置 journalnode 地址-->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://node2:8485;node3:8485;node4:8485/chenzp</value>
  </property>
  <!--配置用于切换name Ha的类-->
  <property>
    <name>dfs.client.failover.proxy.provider.chenzp</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!--配置节点的免密码登录位置-->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>
  <!--配置 journalnode 的工作目录-->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/root/data/journal</value>
  </property>
  <!--配置开启nameNode Ha的自动切换-->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
</configuration>

配置core-site.xml,名命令: vim core-site.xml,以下是所有配置:

<configuration>
 <!--hadoop集群入口-->
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://chenzp</value>
</property>
<!--zookeeper集群-->
 <property>
   <name>ha.zookeeper.quorum</name>
   <value>node1:2181,node2:2181,node3:2181</value>
 </property>
 <!--hadoop工作目录-->
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/data/hadoop</value>
</property>
</configuration>

配置zookeeper集群。
根据前面的节点分配图,在node1,node2,node3上配置zookeeper集群。在node1,node2,node3解压下载的zookeeper,
命令: tar -zxvf zookeeper-3.4.10.tar.gz.先在node1上配置，然后复制到node2,node3,所以进入node1的zookeeper的配置目录,命令: cd zookeeper-3.4.10/conf/。copy一个配置文件出来,命令: cp zoo_sample.cfg zoo.cfg
编辑zoo.cfg, 命令:vim zoo.cfg,需要配置的地方如下，其余保持不变:
dataDir=/root/data/zookeeper
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888
将上面的zoo.cfc文件copy到node2,node3,命令:
scp zoo.cfg root@node2:/root/zookeeper-3.4.10/conf/
scp zoo.cfg root@node3:/root/zookeeper-3.4.10/conf/
在上面的dataDir目录下执行命令:vim myid，编辑内容1,保存退出。
将上面的myid文件copy到node2,node3,命令:
scp -r /root/data root@node2:/root
scp -r /root/data root@node3:/root
将node2里面的myid内容修改成2,将node3里面的myid内容修改成3。最后在配置zookeeper的环境变量: export PATH=/root/zookeeper-3.4.10/bin:$PATH。在node1,node2,node3分别执行命令: zkServer.sh start,完成之后,查看zookeeper启动完成没有,命令:jps 如果有:QuorumPeerMain，那么就ok啦.
配置dataNode
根据前面的节点分配图,dataNode在node2,node3,node4上有。我们先在node1配置，然后在copy到其他节点。在目录/etc/hadoop/,修改文件: vim workers(2.x版本是slave)下面是文件的所有配置:
node2
node3
node4
将node1上etc目录下的配置文件copy到node2,node3,node4上,
scp ./* root@node2:/root/hadoop-3.0.0/etc/hadoop/
scp ./* root@node3:/root/hadoop-3.0.0/etc/hadoop/
scp ./* root@node4:/root/hadoop-3.0.0/etc/hadoop/
根据前面的节点分配图，在node2,node3,node4上启动 journalnode,进入hadoop的sbin目录
./hadoop-daemon.sh start journalnode，查看启动成功没有,命令:jps，如果有JournalNode进程，那么就ok啦
初始化hdfs.在任意一台namenode(这里是node1)节点的hadoop的bin目录上执行
./hdfs namenode -format
如果失败，可能是防火墙问题.关闭四个节点的防火墙:
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动。
可以看到元数据位置:/opt/data/hadoop/dfs/name/current 下有fsimage文件就ok了
复制元数据到未格式化的节点(node2)
启动第8点的namenode(node1),进入sbin目录,
在未格式化的namenode(node2)上执行命令:./hadoop-daemon.sh start namenode
执行完成之后,jps看看有没有NameNode进程，如果有就ok啦.在node2的bin目录下执行: hdfs namenode -bootstrapStandby。执行完以后可以看到/opt/data/hadoop/dfs/name/current 下有fsimage文件就ok了
初始化zkfc,在其中个一台namenode的bin目录下执行命令: ./hdfs zkfc -formatZK
现在可以启动hadoop了。进入namenode1的sbin目录，执行命令:
./stop-dfs.sh 先关闭所有和hadoop的相关进程。如果出现错误，在stop-dfs.sh和start-dfs.sh中添加下面变量后，dfs可以正常启动
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_ZKFC_USER=root
HDFS_SECONDARYNAMENODE_USER=root
，关闭完成之后，执行命令./ststart-dfs.sh
完成之后，查看四台机器的进程情况,如下:

node1:

QQ截图20180108145102.jpg

node2:

QQ截图20180108145153.jpg

node3:

QQ截图20180108145228.jpg

node4:

QQ截图20180108145319.jpg