一，准备三台centos7 服务器

vi  /etc/hosts

三台都输入

192.168.12.137 bigdata01
192.168.12.138 bigdata02
192.168.12.139 bigdata03

二，创建免密码登录

1)设置本机的ssh免密登录

在bigdata01执行

ssh-keygen -t rsa

一路回车
cat到 authorized_keys 文件

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

2)把bigdata01的 authorized_keys 拷贝到bigdata02/03上

scp ~/.ssh/authorized_keys bigdata02:/data

3) 把bigdata01的authorized_keys put到 在bigdata02/03本地上

在 bigdata02 和bigdata03上执行

cd /data/
cat authorized_keys >>~/.ssh/authorized_keys

三，每台设置时间同步

1 centos 设置时间
ntpdate -u ntp.sjtu.edu.cn
which ntpdate
添加 到定时任务
vi /etc/crontab  
/usr/sbin/ntpdate -u  ntp.sjtu.edu.cn
* * * * * root /usr/sbin/ntpdate -u  ntp.sjtu.edu.cn

四,配置java 环境和 hadoop环境

配置 java 环境请参考 https://www.jianshu.com/p/dca6fa6d7aa4

1） 配置 hadoop

cd data/tools
 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2-site.tar.gz

减压

tar -zxvf hadoop-3.2.2-site.tar.gz

配置 hadoop环境变量

export HADOOP_HOME=/data/tools/hadoop-3.2.0
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

2）修改hadoop 配置文件

修改 core-site.xml

cd /data/tools/hadoop-3.2.0/etc/hadoop

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop_repo</value>
   </property>
   #开启删除回收站
   <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata01:50090</value>
    </property>
   #关闭权限校验慎用，测试环境可以这样整，
   <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
   <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata01</value>
    </property>
    #配置所有节点日志集中到主节点
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log.server.url</name>
        <value>http://bigdata01:19888/jobhistory/logs/</value>
    </property>
</configuration>

配置 workes

vi  workes
    bigdata02
    bigdata03

3）.格式化hadoop

注意只能执行一次

cd /data/tools/hadoop-3.2.0/bin
   hdfs namenode -format

如果非得再次执行 rm -rf /data/hadoop_repo/

4) 修改sh文件

cd /data/tools/hadoop-3.2.0/sbin

start-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

stop-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root