操作系统：
Centos 7.2
cat /etc/redhat-release 查看版本
使用“uname -a”命令可以查看内核版本等信息
集群规划：
集群 | 角色
------------|---------
hadoop01| master
hadoop02| slave1
hadoop03| slave2
dog | bird | cat
----|------|----
foo | foo | foo
bar | bar | bar
baz | baz | baz
基础环境配置：
1.集群免密登录:
① hosts文件配置:
hadoop01 hadoop02 hadoop03 都修改
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.184.11 hadoop01 www.xy01.com
192.168.184.12 hadoop02 www.xy02.com
192.168.184.13 hadoop03 www.xy03.com
ip 主机名 域名(自己设置)
②修改主机名(永久)
[root@hadoop01 ~]# vi /etc/sysconfig/network
hostname=hadoop01
[root@hadoop02 ~]# vi /etc/sysconfig/network
hostname=hadoop02
[root@hadoop03 ~]# vi /etc/sysconfig/network
hostname=hadoop03
③ssh 免密配置
hadoop01 ->hadoo02
hadoop01 ->hadoo03
hadoop02 ->hadoop01
hadoop03 ->hadoop01
1.生成密钥
ssh-keygen -t rsa
2.把本机的公钥追到hadoop02 hadoop03 的 .ssh/authorized_keys 里
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop02
2.JDK.1.8.0_191 安装:
①解压
tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/local/
②配置环境变量
EXPORT JAVA_HOME=/usr/local/jdk1.8.0_191
EXPORT CLASSPATH=$JAVA_HOME/lib/
EXPORT PATH=$PATH:$JAVA_HOME/bin
配置完之后 执行 source /etc/profile 使配置文件生效
3.时间同步设置:
(若有则无需设置)
查看时间
[root@hadoop01 home]# date
Fri Feb 22 22:58:41 CST 2019
[root@hadoop02 home]# date
Fri Feb 22 22:58:45 CST 2019
[root@hadoop03 home]# date
Fri Feb 22 22:58:50 CST 2019
安装ntp(hadoop01 hadoop02 hadoop03)
[root@hadoop01 sysconfig]# yum install ntp
配置NTP服务为自启动
[root@hadoop01 sysconfig]# chkconfig ntpd on
第一处修改意思 NTP服务器来可以同步 IP地址192.168.184.1-192.168.184.254，默认网关255.255.255.0的服务器
第二处 互联网和局域网中作为NTP服务器的IP
启动服务
[root@hadoop01 sysconfig]# service ntpd start
同hadoop01 ntpd服务器同步
[root@hadoop02 sysconfig]# ntpdate hadoop01
[root@hadoop03 sysconfig]# ntpdate hadoop01
date 查看是否同步
4.关闭防火墙:
hadoop分布式安装:
①下载地址:
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
②上传:
③解压:
tar -zxvf ~/hadoop-2.9.2.tar.gz -C /usr/local
④节点配置:
1) 环境变量配置:
[root@hadoop01 ~]# vi /etc/profile
export HADOOP_HOME=/usr/local/hadoop-2.9.2
export path=$path:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
2)配置文件配置:
只读的缺省配置，包括：core-default.xml, hdfs-default.xml, yarn-default.xml 和 mapred-default.xml 。
节点的个性配置，包括：etc/hadoop/core-site.xml, etc/hadoop/hdfs-site.xml, etc/hadoop/yarn-site.xml 和 etc/hadoop/mapred-site.xml 。
只需修改个性的配置:
配置core-site.xml
fs.defaultFS
hdfs://xxx
io.file.buffer.size
131072
hadoop.tmp.dir
/data/hadoop/
ha.zookeeper.quorum
hadoop01:2181,hadoop02:2181,hadoop03:2181
配置 hdfs-site.xml
