一、切换到root用户

su - root

二、关闭selinux：vim /etc/selinux/config

SELINUX=disabled

三、切换到hadoop用户，配置免密登陆。

cd 进入hadoop用户的家目录

ssh-keygen -t rsa [输入完后连按4个回车]

ssh node100 [yes，输入hadoop用户的密码]

ssh-copy-id node100 [输入hadoop用户的密码]

四、解压安装jdk和hadoop

可新建一个module文件夹，将jdk与hadoop解压到该文件夹下。

五、编辑环境变量：vim ~/.bash_profile

在文件末尾添加

JAVA_HOME=jdk所在文件夹名称

HADOOP_HOME=hadoop所在文件夹名称

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export JAVA_HOME

export HADOOP_HOME

export PATH

六、重新加载该文件，使环境变量生效

source ~/.bash_profile

java -version

hadoop version

七、修改hadoop的配置文件:cd /opt/module/hadoop-2.7.3/etc/hadoop

1.vim ./hadoop-env.sh

export JAVA_HOME=jdk所在文件夹名称

2.vim ./mapred-env.sh

export JAVA_HOME=jdk所在文件夹名称

3.vim ./yarn-env.sh

export JAVA_HOME=jdk所在文件夹名称

4.vim ./core-site.xml

        <!-- 指定HDFS中NameNode的地址 -->

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://node100:9000</value>

        </property>

        <!-- 指定Hadoop运行时产生文件的存储目录 -->

        <property>

                <name>hadoop.tmp.dir</name>

                <value>/opt/module/hadoopdata</value>

        </property>

5.vim ./hdfs-site.xml

        <!-- 指定HDFS副本的数量 -->

        <property>

                <name>dfs.replication</name>

                <value>1</value>

        </property>

        <!-- 指定Hadoop辅助名称节点主机配置 -->

        <property>

                <name>dfs.namenode.secondary.http-address</name>

                <value>node100:50090</value>

        </property>

6.cp ./mapred-site.xml.template ./mapred-site.xml

vim ./mapred-site.xml

    <!-- 指定MR运行在yarn上 -->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

7.vim ./yarn-site.xml

        <!-- Reducer获取数据的方式 -->

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

        <!-- 指定YARN的ResourceManager的地址 -->

        <property>

                <name>yarn.resourcemanager.hostname</name>

                <value>node100</value>

        </property>

        <!-- 关闭虚拟内存检查 -->

        <property>

                <name>yarn.nodemanager.vmem-check-enabled</name>

                <value>false</value>

        </property>

八、格式化hadoop集群

hdfs namenode -format

九、启动/关闭hadoop集群

启动hadoop集群：start-all.sh

关闭hadoop集群：stop-all.sh

十一、验证集群

192.168.5.100:50070

192.168.5.100:8088

十二、Hadoop的wordcount

1.vim word.txt

hello python

hello java

hello scala

hello world

welcome to beijing

2.wordcount测试

hadoop fs -mkdir /test

hadoop fs -put ./word.txt /test

hadoop jar /opt/module/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /test/word.txt /output

hadoop fs -cat /output/part-r-00000