Hadoop集群安装
配置三台主机(每台主机都需要配置)
-
修改IP
使用
vi /etc/sysconfig/network-scripts/ifcfg-xx不同的机器可能不同修改三台主机ipaddr地址如下
192.168.200.101 master 192.168.200.102 slave1 192.168.200.103 slave2可以根据实际情况修改，但需要保持三台主机之间能够ping通
修改后需要重启网络配置
systemctl restart network -
修改主机名
hostname set-hostname master hostname set-hostname slave1 hostname set-hostname slave2修改主机名后重启或者退出，重新登录
-
修改host
在
vi /etc/hosts中添加如下192.168.200.101 master 192.168.200.102 slave1 192.168.200.103 slave2 -
安装JDK
参考linux安装jdk
-
配置免密
在master主机上执行
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys将公钥发送到slave1和slave2
ssh-copy-id -i slave1 ssh-copy-id -i slave2
安装hadoop(详细安装过程见hadoop伪分布式搭建)
这一步我们先在master主机上配置完成之后，再发送到其他两个台主机上
上传hadoop安装包
解压
tar -zxvf hadoop-2.8.5.tar.gz修改
hadoop-env.sh中的JAVA_HOME路径配置
core-site.xml，修改入口和存储位置默认副本数为3，这里就不需要配置副本数了
在salves文件中加入DataNode的主机名(一行一个)
将
HADOOP_HOME加入到系统环境变量(注意生效环境变量)-
发送到hadoop到其他主机
scp -r hadoop-2.8.5 root@slave1:`pwd`/ scp -r hadoop-2.8.5 root@slave2:`pwd`/这里的命令是将master主机上的hadoop文件夹发送到slave主机的相同目录下
启动
- 首次启动只需要在master主机上进行格式化
hdfs namenode -format - 只需要在master主机上启动
start-dfs.sh
