二、Hadoop集群搭建

本系列目录：

一、CentOS集群搭建(1)--CentOS安装篇

一、CentOS集群搭建(2)--CentOS设置篇

一、CentOS集群搭建(3)

二、Hadoop集群搭建

三、Hive搭建（不需要搭建集群）

四、Zookeeper集群搭建

五、kafka集群搭建

六、Spark集群搭建

本节需要用到的安装包有：

※hadoop-2.8.5.tar.gz

1.将hadoop-2.8.5.tar.gz使用scp命令，从主机Mac的终端传输到a1的/usr/local目录下

2.将hadoop包进行解压缩，命令为：tar -zxvf hadoop-2.8.5.tar.gz

3.将解压后的hadoop-2.8.5，进行重命名为hadoop，命令为：mv hadoop-2.8.5 hadoop

如图2.1.1所示

图2.1.1

4.配置hadoop相关环境变量

vi ~/.bashrc

输入如下内容，如图2.1.2所示：

export HADOOP_HOME=/usr/local/hadoop

export PATH=$HADOOP_HOME/bin:HADOOP_HOME/sbin

图2.1.2

键入命令：source ~/.bashrc

5.修改hadoop配置文件

首先通过命令：cd /usr/local/hadoop/etc/hadoop   

进入hadoop目录下

5.1修改core-site.xml，命令：vi core-site.xml 

添加如下代码，如图2.1.3所示。

<property>

   <name>fs.default.name</name>

   <value>hdfs://a1:9000</value>

</property>

图2.1.3

5.2 修改hdfs-site.xml，命令：vi hdfs-site.xml

添加如下代码，如图2.1.4所示

<property>

  <name>dfs.name.dir</name>

  <value>/usr/local/data/namenode</value>

</property>

<property>

  <name>dfs.data.dir</name>

  <value>/usr/local/data/datanode</value>

</property>

<property>

  <name>dfs.tmp.dir</name>

  <value>/usr/local/data/tmp</value>

</property>

<property>

  <name>dfs.replication</name>

  <value>3</value>

</property>

图2.1.4

5.3 在/usr/local目录下，建立目录data，命令为：mkdir /usr/local/data

如图2.1.5所示

图2.1.5

5.4 修改mapred-site.xml，命令为：vi mapred-site.xml.template(注：hadoop文件下没有mapred-site.xml，只有mapred-site.xml.template，修改它效果相同）

添加如下代码，如图2.1.6所示：

<property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

</property>

图2.1.6

5.5修改yarn-site.xml，命令为：vi yarn-site.xml

添加如下代码，如图2.1.7所示

<property>

  <name>yarn.resourcemanager.hostname</name>

  <value>a1</value>

</property>

<property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

</property>

图2.1.7

5.6修改slaves，命令为：vi slaves

修改为：

a1

a2

a3

如图2.1.8所示

图2.1.8

至此在一台机器上，hadoop安装配置完成，下面开始在第2，3台机器上安装配置hadoop

使用scp命令，命令为：

scp -r /usr/local/hadoop root@a2:/usr/local（注：-r 是迭代传输文件夹）

scp -r /usr/local/hadoop root@a3:/usr/local

scp ~/.bashrc root@a2:~

scp ~/.bashrc root@a3:~

将a1上的hadoop安装包和~/.bashrc文件拷贝到a2,a3上面

并使用命令:source ~/.bashrc，使~/.bashrc生效。

至此，hadoop集群搭建完成，下面开始测试启动hadoop集群

6 格式化namenode，在a1上执行命令：hdfs namenode -format

7.执行命令：start-dfs.sh，启动hdfs集群，

并在a1上查看进程是否启动NameNode、DataNode、SecondaryNameNode，如图2.1.9所示：

图2.1.9

在a2上查看进程是否有DataNode，如图2.1.10所示

图2.1.10

在a3上查看进程是否有DataNode，如图2.1.11所示

图2.1.11

7.1 在Chrome浏览器上，输入：http://a1:50070，出现图2.1.12，即代表ok

图2.1.12

8 启动yarn集群

在a1中键入命令：start-yarn.sh，如图2.1.13所示

图2.1.13

在a1在查看是否有NodeManager、ResourceManager，如图2.1.14所示

图2.1.14

在a2中查看是否有NodeManager，如图2.1.15所示

图2.1.15

在a3中查看是否有NodeManager，如图2.1.16所示

图2.1.16

在Chrome浏览器下，输入：http://a1:8088，结果如图2.1.17所示

图2.1.17

至此Hadoop集群搭建完成~