Hadoop安装与集群配置

一、环境及软件说明

1、虚拟机软件：

Oracle VM VirtualBox 

2、系统镜像：

CentOS-7-x86_64

3、JDK：

jdk-8u121-linux-x64.tar.gz

4、hadoop安装包：

hadoop-2.7.3.tar.gz

二、配置网络

1. 选用host-only网络

2. vi /etc/sysconfig/network

NETWORKING=yes

3. vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 

TYPE=Ethernet 

IPADDR=192.168.56.100

 NETMASK=255.255.255.0

4. 修改主机名hostnamectl set-hostname master (主机名千万不能有下划线！)

5. 重启网络service network restart，使配置生效

6. 互相ping，看是否测试成功，若不成功，注意防火墙的影响。关闭windows或虚拟机的防火墙。

systemctl stop firewalld //关闭防火墙

systemctl disable firewalld //永久关闭防火墙（若不永久关闭防火墙下次开机防火墙还是开启的）

三.安装JDK

1.使用xshell连接虚拟机，xftp上传jdk到 /usr/local/java下，并解压

2.输入java验证安装是否成功。

3.配置环境变量：vim /etc/profile

JAVA_HOME=/usr/java/jdk1.8.0_91

JRE_HOME=/usr/java/jdk1.8.0_91/jre

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

export JAVA_HOME JRE_HOME PATH CLASSPATH

4.使环境变量生效

source /etc/profile

验证JDK是否安装成功

安装HADOOP

cd /usr/local

tar –xvf ./hadoop-2.7.3.tar.gz

把目录修改为hadoop mv hadoop-2.7.3 hadoop

修改hadoop-env.sh

vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh

修改export JAVA_HOME 语句为 export JAVA_HOME=/usr/java/default

把/usr/local/hadoop/bin和/usr/local/hadoop/sbin设到PATH中

vi /etc/profile

追加 export PATH=$PATH:/usr/hadoop/bin:/usr/hadoop/sbin

source /etc/profile （使配置生效）

测试hadoop命令是否可以直接执行，任意目录敲hadoop

测试命令，是否安装成功！

安装成功后复制三分虚拟机，这里注意各个虚拟机的MAC地址，将复制出来的虚拟机的MAC刷新几下

刷新MAC地址

主要是要修改:/etc/hosts,注意：四个节点的ip以及hostname都加上