1 介绍
1.1 系统版本介绍
此文档编写使用的系统为ubuntu-18.04.1-live-server-amd64.iso版本。
1.2 软件版本介绍
| 软件 | 版本 |
|---|---|
| jdk | jdk-8u181-linux-x64.tar.gz |
| hadoop | hadoop-2.7.7.tar.gz |
1.3 ubuntu集群服务器
| 主机名 | IP地址 | 服务 |
|---|---|---|
| Master | 10.168.1.216 | ResourceManager、SecondaryNameNode、NameNode |
| slave01 | 10.168.1.217 | NodeManager、DataNode |
| slave02 | 10.168.1.218 | NodeManager、DataNode |
| slave03 | 10.168.1.219 | NodeManager、DataNode |
1.4 说明
本文档安装jdk和ssh略过。
2 安装hadoop集群
2.1 全局配置
2.1.1 解压hadoop
创建一个hadoop的文件夹，用户存放hadoop文件
mkdir /usr/local/hadoop
通过ftp工具把下载好的hadoop安装包上传到hadoop文件夹下。
解压：
cd /usr/local/hadoop
tar -vxzf hadoop-2.7.7.tar.gz
解压完成：
移动hadoop-2.7.7文件下的文件到当前的目录
mv ./hadoop-2.7.7/* ./
删除hadoop-2.7.7文件夹
rm -rf ./hadoop-2.7.7
查看文件夹的所有者以及用户组，最重要的是拥有者是否是当前用户
如果拥有者不是当前用户，则修改为当前用户：
chown -R 当前用户名 ./hadoop
2.1.2 配置hadoop
设置环境变量：
vim /etc/profile
在末尾添加：
JAVA_HOME=/usr/local/java/jdk1.8.0_181
HADOOP_HOME=/usr/local/hadoop
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export PATH
export HADOOP_HOME
重新加载环境变量的配置文件：
source /etc/profile
检测：
hadoop version
2.1.3 修改配置文件
在core-site.xml 中添加
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
在 hdfs-site.xml 中添加
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/hdfs/data</value>
</property>
<!--副本的数量-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
在 hadoop-env.sh 中更改 JAVA_HOME
注释掉：
export JAVA_HOME=${JAVA_HOME}
添加：
export JAVA_HOME=/usr/local/java/jdk1.8.0_181
修改slaves文件，添加如下信息：
vim /usr/local/Hadoop/etc/Hadoop/slaves
1.2 特殊配置
2.2.1 复制三台主机
2.2.2 设置静态ip地址
前言
Ubuntu 18.04不再使用ifupdown配置网络，而改用netplan。在/etc/network/interfaces配置固定IP是无效的，重启网络的命令services network restrart或/etc/init.d/networking restart也是无效的。
使用ifupdown配置网络
如果要使用之前的方式配置网络，需要重新安装ifupdown:
apt install ifupdown
修改配置文件/etc/network/interfaces:
vim /etc/network/interfaces
配置文件修改如下：
iface ens160 inet static
address 210.72.92.25
gateway 210.72.92.254
netmask 255.255.255.0
dns-nameservers 8.8.8.8
重启网络服务使配置生效
services network restrart
使用netplan配置网络
Ubuntu 18.04使用netplan配置网络，其配置文件是yaml格式的。安装好Ubuntu 18.04之后，在/etc/netplan/目录下默认的配置文件名是50-cloud-init.yaml，我们通过VIM修改它：
vim /etc/netplan/50-cloud-init.yaml
配置文件修改如下：
network:
ethernets:
ens160:
addresses: [10.168.1.216/24]
dhcp4: false
gateway4: 10.168.1.254
version: 2
无论是ifupdown还是netplan，配置的思路都是一致的，在配置文件里面按照规则填入IP、掩码、网关、DNS等信息。注意yaml是层次结构，需要缩进，冒号(:)表示字典，连字符(-)表示列表。
重启网络服务使配置生效：
netplan apply
2.2.3 配置hosts文件
vim /etc/hosts
添加master和slaves信息：
2.2.4 本地主机名配置
首先修改
vim /etc/cloud/cloud.cfg
将disable_root:false修改为true：
修改主机名：
vim /etc/hostname
将10.168.1.216主机名修改为master。
将其他机器也修改为对应的名称，重启所有服务器。
2.2.5 多服务器ssh免密码登陆
由于Hadoop启动以后，namenode是通过SSH（Secure Shell）来启动和停止各个节点上的各种守护进程的，这就需要在节点之间执行指令的时候是不需要输入密码的方式，故我们需要配置SSH使用无密码公钥认证的方式（安装ssh，配置ssh远程连接过程略过。）。
所有服务器使用rsa算法生成秘钥和公钥对：
ssh-keygen -t rsa
然后把master服务器中公钥加入到授权中：
cat ./id_rsa.pub >> ./authorized_keys
使用ssh localhost验证是否无密码登陆。
把slave服务器中的id_rsa.pub复制到master中：
scp .ssh/id_rsa.pub root@master:/
查看公钥是否复制成功：
将公钥添加到master的授权文件中：
cat /id_rsa.pub >> ~/.ssh/authorized_keys
重复上面步骤，直到所有的slave公钥都添加到了授权文件中。
将授权文件分发到每台服务器上：
scp ~/.ssh/authorized_keys username@hostname: ~/.ssh/authorized_keys
测试通过ssh相互之间登录：
ssh hostname
username：服务器用户名。
hostname：服务器主机名。
测试完毕重启服务器。
2.2.6 启动hadoop
在master服务器上格式化namenode节点：
hadoop namenode -format
启动hdfs
start-all.sh
查看相应的进程：
jps
master：
确定3个进程全部启动。
slave：
确定2个进程全部启动。
访问测试：
10.168.1.216:50070
1.3 添加datanode节点
配置一台新的slave机器，根据前面的步骤配置网络IP。
启动datanode服务：
hadoop-daemon.sh start datanode
启动nodemanager服务：
yarn-daemon.sh start nodemanager
如果需要在name节点启动的时候，同时也启动这台新加的data节点，那么需要根据特殊配置的步骤，修改hosts文件、服务器主机名、以及ssh免密登录等，才能通过name来启动data节点。
1.4 删除datanode节点
首先需要在hdfs-site.xml添加：
<property>
<name>dfs.hosts.exclude</name>
<value>/usr/local/hadoop/etc/hadoop/excludes</value>
</property>
然后在对应位置创建文件：
vim /usr/local/hadoop/etc/hadoop/excludes
在文件中加入要删除的节点名称：
例如要删除的节点是slave03
在NameNode上刷新所有DataNode：
hdfs dfsadmin -refreshNodes #刷新节点信息
start-balancer.sh #同步节点的数据
如下图：表示与该节点已经断开了连接（因为hadoop心跳检测是10分钟，所以如果是data节点宕机，就会一直检测，直到超时）。
接下来就可以关闭data节点了：
关闭datanode服务：
hadoop-daemon.sh stop datanode
关闭nodemanager服务：
yarn-daemon.sh stop nodemanager
