Hadoop，伪分布式安装

1. hadoop的Java环境安装

首先，需要找到默认的java路径：

readlink -f /usr/bin/java | sed "s:bin/java::"

然后打开文件/hadoop/etc/hadoop/hadoop-env.sh
然后直接将根据上面的指令得到的默认地址

 . . .
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64/
 . . . 

此外，也可以一步到位，直接在hadoop的这个配置文件中直接写入动态java地址，如下：

 . . .
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")
 . . . 

2. hadoop的配置文件

2.1 核心配置core-sit.xml

<!--
其中，fs.defaultFS就是配置的hdfs的地址，不过是以uri的方式
-->
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000/</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/hadoop/data</value>
        </property>
</configuration>

2.2 HDFS----hdfs-site.xml文件

<!--dfs.replication，表示的是备份数，由于本章是以伪分布式安装为主，只有一台服务器，就只分配一个-->
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <!--注意：这项若不配，或者配成127.0.0.1，本机浏览器就访问不了-->
                <name>dfs.http.address</name>
                <value>0.0.0.0:50070</value>
        </property>
</configuration>

2.3 MapReduce-----mapred-site.xml

<!--表示mapReduce在yarn（资源调度集群）上运行-->
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

2.4 YARN ------yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <!---yarn的运行机器-->
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>

        <property>
                <!---map产生的中间结果如何传递给reduce-->
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

3. hadoop配置环境变量

export HADOOP_HOME=/home/hadoop/app/hadoop
export PATH=$HADOOP_HOME/bin::$PATH

4. hadoop初始化

hadoop namenode -format

当出现xxx has been successfull的时候，表示初始化成功

5. 启动hadoop集群

1. 启动start-dfs.sh
2. 使用jps查看是否成功运行
3. 启动start-yarn.sh

sbin/start-dfs.sh
sbin/start-yarn.sh

jps
30225 NodeManager
29379 NameNode
30772 Jps
29546 DataNode
29803 SecondaryNameNode
30061 ResourceManager