集群规划
| 主机 | IP | 安装软件 | 运行进程 |
|---|---|---|---|
| nimbus | 192.168.116.129 | hadoop,zookeeper,jdk | NameNode、DFSZKFailoverController(zkfc)、ResourceManager、JournalNode、QuorumPeerMain、JobHistoryServer |
| supervisor1 | 192.168.116.130 | hadoop,zookeeper,jdk | NameNode、DataNode、DFSZKFailoverController(zkfc)、JournalNode、QuorumPeerMain |
| supervisor2 | 192.168.116.131 | hadoop,zookeeper,jdk | DataNode、NodeManager、JournalNode、QuorumPeerMain |
前期准备
-
静态IP设置
$ vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0 //指出设备名称
BOOTPROT=static //启动类型 dhcp|static
IPADDR=192.168.0.2 //IP地址
NETMASK=255.255.255.0 //子网掩码
NETWORK=192.168.0.0 //网络地址
GATEWAY=192.168.0.1 //网关地址
ONBOOT=yes //是否启动应用
#TYPE=Ethernet //网络类型
#BROADCAST=192.168.1.203 //广播地址
#HWADDR=00:06:5B:FE:DF:7C //硬件Mac地址
-
账号分配
需要使用具备 sudo 免密码认证的非 root 用户，文本中以 hddev 用户执行操作。
登录到集群内 每台主机，执行以下操作
- 使用 root 用户登录 Centos 命令行；
- 开放 sudoers 文件写权限，执行 chmod u+w /etc/sudoers；
- 执行 vi /etc/sudoers，找到 root ALL=(ALL) ALL
在其下边添加一行数据：hddev ALL=(ALL) NOPASSWD: ALL，hddev 为 sudo 免密码用户 - 执行 Esc wq 保存推出 vi ；
- 恢复 sudoers 文件权限，执行 chmod u-w /etc/sudoers
- 切换到新增 hddev，执行 su – hddev ；
- 在 hddev 用户下校验 sudo 免密码登录配置是否正确： 执行 sudo ls ，如果没有提示需要输入密码，则说明配置正确。
-
SSH免密码登录
主备NameNode，ResourceManager进程所在主机要进行对集群其它主机的免密码登录配置。
具体步骤示例：
1. 通过 hddev 账号登录以后，在集群内所有主机上生成公钥和私钥
mkdir ~/.ssh
chmod 700 ~/.ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
2. 将 NMBDP 的主机 host1 上的公钥拷贝到其他目标主机
scp ~/.ssh/id_dsa.pub hddev@xxx:/home/hddev/host1_id_dsa.pub
xxx:为目标主机名，接着会提示输入对端主机密码登陆，因为还没实现免密码登陆，这一次需要手工输入密码。
3. 在目标主机上将 host1 的公钥加入到本机认证文件中
cat ~/host1_id_dsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
4. 接下来就可以在 host1 中通过 ssh 无密码登录其他主机。
RSA
ssh-keygen -t rsa
ssh-copy-id-i target_hostname
-
主机名设置
- 编辑/etc/hosts 文件
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.116.129 nimbus
192.168.116.130 supervisor1
192.168.116.131 supervisor2
- 设置主机名
命令行执行 sudo hostname host1 编辑文件 sudo vi /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=host1
```
(重要)检查主机名设置是否正确: $hostname -f 查看是否为预期输出
- **关闭防火墙、 SELinux 和 PackageKit **
sudo chkconfig iptables off
sudo /etc/init.d/iptables stop
sudo setenforce 0
sudo vi /etc/selinux/config，将其中的 SELINUX 值设置为 disabled
如果安装了 PackageKit , 需要编辑 /etc/yum/pluginconf.d/refresh-packagekit.conf，做如下修改 enabled=0
- **安装 JDK **
- 下载 Oracle JDK 1.7.0_55 64-bit 安装文件 jdk-7u55-linux-x64.gz ；
- 创建/usr/java 目录，执行：sudo mkdir /usr/java
- 并将 jdk-7u55-linux-x64.gz 文件拷贝到/usr/java 目录；并执行 cd /usr/java 进入该目录；
- 将 jdk-7u55-linux-x64.gz 文件解压到/usr/java 目录，执行：sudo tar -xvf jdk-7u55-linux-x64.gz ；
- 安装成功后会生成 jdk1.7.0_55，确认该目录权限为 drwxr-xr-x (755)
- 更改该目录所属用户组：sudo chown -R root:root jdk1.7.0_55
- 执行 sudo vi /etc/profile 编辑文件，增加如下内容:
export JAVA_HOME=/usr/java/jdk1.7.0_55
export PATH=.:$JAVA_HOME/bin:$PATH
- 执行 source /etc/profile 使文件修改生效。
搭建zookeeper集群
待补充
bin/zkServer.sh start #启动
bin/zkServer.sh status #查看状态
搭建Hadoop HA集群
- 环境变量配置
$ vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_55
export PATH=.:$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/kimibob/app/hadoop-2.7.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export ZOO_HOME=/home/kimibob/app/zookeeper-3.4.6/
export PATH=$ZOO_HOME/bin:$PATH
$ source /etc/profile
- 配置hadoop-env.sh 修改一处即可
export JAVA_HOME=/usr/java/jdk1.7.0_55/ - core-site.xml 【注：以下配置项中的中文注释不可出现在实际文件中，这里仅供说明用】
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/kimibob/app/app_data/hadoop_tmp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>nimbus:2181,supervisor1:2181,supervisor2:2181</value>
</property>
</configuration>
- hdfs-site.xml【注：以下配置项中的中文注释不可出现在实际文件中，这里仅供说明用】
<configuration>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<!--指定hdfs的nameservice为mycluster，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!-- mycluster下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>nimbus:8020</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>nimbus:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>supervisor1:8020</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>supervisor1:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://nimbus:8485;supervisor1:8485;supervisor2:8485/mycluster</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/kimibob/app/app_data/journal</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/kimibob/.ssh/id_rsa</value>
</property>
</configuration>
- mapred-site.xml【注：以下配置项中的中文注释不可出现在实际文件中，这里仅供说明用】
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 指定jobhistory-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>nimbus:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>nimbus:19888</value>
</property>
</configuration>
- yarn-site.xml【注：以下配置项中的中文注释不可出现在实际文件中，这里仅供说明用】
<configuration>
<!-- 指定resourcemanager地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>nimbus</value>
</property>
<!-- 指定nodemanager启动时加载server的方式为shuffle server -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
- 配置datanode的配置文件slaves 【hadoop-daemons.sh脚本执行的主机列表会从这个文件获取】
[kimibob@nimbus hadoop]$ vi slaves
supervisor1
supervisor2
- 将hadoop目录拷贝到集群其他主机
- 启动各项服务【严格按照顺序】
1. nimbus、supervisor1、supervisor2三台启动zookeeper服务
jps 对应进程：QuorumPeerMain
2. nimbus、supervisor1、supervisor2三台分别执行：hadoop-daemon.sh start journalnode【注意只有第一次需要这么启动，之后start-dfs.sh有包含journalnode的启动】
jps 对应进程：JournalNode
3. 格式化主NameNode【这个过程仅仅在第一次使用之前执行一次】：hdfs namenode –format
4. 主NameNode上执行：hdfs zkfc -formatZK
5. 初始化备NameNode：hdfs namenode -bootstrapStandby【其实就是把主NameNode的元数据目录file://${hadoop.tmp.dir}/dfs/name拷贝一份到备NameNode主机同样位置】
6. 启动hdfs：start-dfs.sh 【包括主备NameNode，三个journalnode，两个ZK Failover Controllers 的启动】
7. 启动YARN: start-yarn.sh
8. 启动MR-history-server：mr-jobhistory-daemon.sh start historyserver
各个主机进程：
[kimibob@nimbus ]$ jps -m
14915 NameNode
14744 JournalNode
14679 QuorumPeerMain /home/kimibob/app/zookeeper-3.4.6/bin/../conf/zoo.cfg
15265 DFSZKFailoverController
15482 ResourceManager
15809 JobHistoryServer
[kimibob@supervisor1 ]$ jps -m
13945 NameNode
13855 JournalNode
14032 DataNode
13782 QuorumPeerMain /home/kimibob/app/zookeeper-3.4.6/bin/../conf/zoo.cfg
14201 DFSZKFailoverController
14351 NodeManager
[kimibob@supervisor2 ]$ jps -m
11865 JournalNode
11955 DataNode
11799 QuorumPeerMain /home/kimibob/app/zookeeper-3.4.6/bin/../conf/zoo.cfg
12136 NodeManager
- 服务地址
hdfs：(active) http://nimbus:50070/ (standby)http://supervisor1:50070/
yarn：http://nimbus:8088/
