Hadoop 安装指南

最近由于要学习一下大数据相关的知识，首先遇到的就是Hadoop。那么接下来就看一下如何安装Hadoop。

1. 下载tar包
   https://hadoop.apache.org/releases.html

2. 解压tar包

    tar -vxf hadoop.3.1.1.gz.tar
   

3. 设置环境变量

    export HADOOP_HOME=/home/hadoop/hadoop-3.1.1 
    export HADOOP_INSTALL=$HADOOP_HOME
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native         
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
   

4. 修改hadoop-env.sh
   脚本文件位于*/hadoop-3.1.1/etc/hadoop

    export JAVA_HOME=/opt/jdk1.8.0_192 
    export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/home/hadoop/hadoop-3.1.1/etc/hadoop"}
   

5. 修改core-site.xml
   脚本文件位于*/hadoop-3.1.1/etc/hadoop

• fs.defaultFS指出了文件系统的位置

• hadoop.tmp.dir: 临时文件夹的位置

    <configuration>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
      </property>
      <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadooptmpdata</value>
      </property>
    </configuration>
  

6. 修改hdfs-site.xml
   脚本文件位于*/hadoop-3.1.1/etc/hadoop

• dfs.replication 创建文件时复制的数目

• dfs.name.dir 指定名字节点的位置

• dfs.data.dir 指定data节点的位置

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
            <name>dfs.name.dir</name>
            <value>file:///home/hadoop/hdfs/namenode</value>
            <name>dfs.data.dir</name>
            <value>file:///home/hadoop/hdfs/datanode</value>  
        </property>
    </configuration>
  

记得要创建对应的文件夹

    mkdir -p hdfs/namenode
    mkdir -p hdfs/datanode

7. 修改mapreduce.xml

• mapreduce.framework.name 执行mapreduce jobs的运行时框架，可以为local, classsic, yarn

    <configuration>
        <property>
            <name>[mapreduce.framework.name](http://mapreduce.framework.name)</name>
            <value>yarn</value>
        </property>
    </configuration>
  

8. 修改yarn.xml

    <configuration>
        <property>
            <name>mapreduceyarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
       </property>
    </configuration>
   

9. 启动hadoop集群

    hdfs namenode -format
   

10. 启动 HDFS

    start-dfs.sh
    

如果提示ssh: connect to host refused，安装ssh，并且cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

11. 启动yarn

    start-yarn.sh
    

12. 可以通过命令jps查看hdfs运行状态

    jps
    

13. 可以查看hadoop的版本

    hdfs version
    

14. 创建hdfs目录并且显示

    hdfs dfs -mkdir /test
    hdfs dfs -ls /
    

到此，hadoop安装完成。