Hadoop集群部署
虚拟机演示
1). Hadoop集群规划
- HDFS: NN DN (NameNode DataNode)
- YARN: RM NM (ResourcesManger NodeManger)
- 部署三台集群
| 主机名 | IP | MAC地址(可选) | 部署节点 |
|---|---|---|---|
| hadoop000 | 192.168.10.180 | 00:50:56:2F:3D:84 | NN、RM、DN、NM |
| hadoop001 | 192.168.10.181 | 00:50:56:3A:FD:56 | DN、NM |
| hadoop002 | 192.168.10.182 | 00:50:56:2D:82:A0 | DN、NM |
根据以上信息配置网卡信息，使之能相互ping通
2). hostname映射关系
每台都要设置
- 创建账户
hadoop并授权,禁用防火墙
[? !]# useradd hadoop
[? !]# passwd hadoop
[? !]# chmod -v u+w /etc/sudoers
[? !]# vim /etc/sudoers
hadoop ALL=(ALL) ALL # 添加的内容
[? !]# chmod -v u-w /etc/sudoers
[? !]# sudo systemctl status firewalld
[? !]# sudo systemctl stop firewalld
[? !]# sudo systemctl disable firewalld
- 每个节点创建对应的文件夹以备使用
[? ~]$ mkdir software 存放所使用的软件安装包
[? ~]$ mkdir app 存放所有软件的安装目录
[? ~]$ mkdir data 存放使用的数据
[? ~]$ mkdir lib 存放开发过的作业jar存放的目录
[? ~]$ mkdir shell 存放相关的脚本
[? ~]$ mkdir maven_resp 存放使用到的maven依赖包存放的目录
// mkdir software app data lib shell maven_resp
-
sudo vim /etc/hostname: 修改hostname
分别修改hadoop000/hadoop001/hadoop002，修改后执行如下命令
[? ~]$ hostname hadoop000 # 其他类似
-
sudo vim /etc/hosts： ip和hostname的映射关系
建议ip和域名中间以tab键分割 (我测试的localhost必须是127.0.0.0；配成其他的就会有问题？)
# hadoop000
127.0.0.1 localhost
192.168.10.180 hadoop000
192.168.10.181 hadoop001
192.168.10.182 hadoop002
# hadoop001
127.0.0.1 localhost
192.168.10.180 hadoop000
192.168.10.181 hadoop001
192.168.10.182 hadoop002
# hadoop002
127.0.0.1 localhost
192.168.10.180 hadoop000
192.168.10.181 hadoop001
192.168.10.182 hadoop002
3). 安装ssh,设置免密登录
主节点hadoop000免密登录其他节点的配置
- ssh免密码登陆：每台都要设置
[? ~]$ ssh-keygen -t rsa
# 然后一路回车
- 只在hadoop000机器上进行操作
配置hadoop000登录其他节点免密码登录的ssh验证 (配置对应远程的用户名地址和密码,远程必须在线)
[? ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop000
[? ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop001
[? ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop002
4). JDK安装
- 先在hadoop000机器上部署了jdk
- 将
jdk/bin配置到系统环境变量
# 参考案例
[? ~]$ vim ~/.bash_profile
export JAVA_HOME=${安装的jdk根路径}
export PATH=$PATH:$JAVA_HOME/bin
# 退出后
[? ~]$ source ~/.bash_profile
- 将jdk拷贝到其他节点上去(从hadoop000机器出发)
[? ~]$ scp -r $JAVA_HOME hadoop@hadoop001:$JAVA_HOME
[? ~]$ scp -r $JAVA_HOME hadoop@hadoop002:$JAVA_HOME
[? ~]$ scp ~/.bash_profile hadoop@hadoop001:~/
[? ~]$ scp ~/.bash_profile hadoop@hadoop002:~/
然后在每个节点终端执行
source ~/.bash_profile
5). Hadoop部署
将hadoop000上安装配置环境变量后拷贝到其他节点上，在各个节点配置如下信息
vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
export JAVA_HOME=${JAVA_HOME} # 改成上述配置的路径
vim $HADOOP_HOME/etc/hadoop/core-site.xml
文件系统的地址
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop000:8020</value>
</property>
vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml
文件路径的存放地址
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/app/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/app/tmp/dfs/data</value>
</property>
vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop000</value>
</property>
vim $HADOOP_HOME/etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
vim $HADOOP_HOME/etc/hadoop/slaves
配置从节点信息
hadoop000
hadoop001
hadoop002
- 分发hadoop到其他机器
[? ~]$ scp -r /home/hadoop/app/hadoop-2.6.0-cdh5.15.1 hadoop@hadoop001:~/app/
[? ~]$ scp -r /home/hadoop/app/hadoop-2.6.0-cdh5.15.1 hadoop@hadoop002:~/app/
[? ~]$ vim ~/.bash_profile # 添加修改如下信息
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-chd5.15.1
export PATH=$JAVA_HOME:$HADOOP_HOME/bin:$PATH
[? ~]$ scp ~/.bash_profile hadoop@hadoop001:~/
[? ~]$ scp ~/.bash_profile hadoop@hadoop002:~/
source .bash_profile # 每个终端都要执行
- NN(NameNode)初始格式化：
hadoop000下执行一次即可；其他节点不要执行，否则需要删除上述配置的
dfs.datanode.data.dir目录然后再执行。
[? ~]$ hadoop namenode -format
- 启动HDFS
hadoop000下执行一次即可
[? ~]$ sh $HADOOP_HOME/sbin/start-dfs.sh
- 启动YARN
hadoop000下执行一次即可
[? ~]$ sh $HADOOP_HOME/sbin/start-yarn.sh
