hadoop伪分布式安装

一、配置Java环境，推荐使用jdk1.7以上。

1、下载安装jdk包并解压
tar -zxvf jdk-8u161-linux-x64.tar.gz
2、移动jdk并重命名
sudo mv jdk-8u161-linux-x64.tar.gz /usr/app/jdk
3、配置系统变量，编辑.bashrc文件

export JAVA_HOME=/usr/app/jdk

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

4、使系统变量生效
source .bashrc
5、检查Java环境是够配置成功

java -version
javac

二、配置免密码登录

1、测试是否能否无密码远程连接到本地
ssh localhost
2、安装ssh服务
sudo apt install openssh-server
3、配置免密码登录

ssh-keygen -t rsa -P '' 
cat ~/.ssh/id_rsa.pub >> authorized_keys

三、安装Hadoop.

这里采用cloudera公司发行版hadoop-2.6.0-cdh5.6.0.tar.gz版本

1、解压并移动\重命名到指定位置

tar -zxvf hadoop-2.6.0-cdh5.6.0.tar.gz
sudo mv hadoop-2.6.0 /usr/app/hadoop

2、配置Hadoop中相应的文件

需要配置的文件如下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml，所有的文件均位于hadoop2.7.1/etc/hadoop下面，具体需要的配置如下：
1>hadoop-env.sh

...
# The java implementation to use.
export JAVA_HOME=/usr/app/jdk

# The jsvc implementation to use. Jsvc is required to run secure datanodes
# that bind to privileged ports to provide authentication of data transfer
...

2>core-site.xml

<configuration>
 <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    <description>HDFS的URI，文件系统://namenode标识:端口号</description>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/hadoop/tmp</value>
    <description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>

3>hdfs-site.xml

<configuration>
<property>
    <name>dfs.name.dir</name>
    <value>/usr/hadoop/hdfs/name</value>
    <description>namenode上存储hdfs名字空间元数据 </description> 
</property>

<property>
    <name>dfs.data.dir</name>
    <value>/usr/hadoop/hdfs/data</value>
    <description>datanode上数据块的物理存储位置</description>
</property>

<property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>副本个数，配置默认是3,应小于datanode机器数量</description>
</property>
</configuration>

4>配置mapred-site.xml文件

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

5>配置yarn-site.xml

    <configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
            </property>
    </configuration>

注明：在伪分布式下4,5可不用配置yarn启动

3、配置Hadoop系统环境变量

    export HADOOP_HOME=/usr/app/hadoop
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

4、格式化文件系统

bin/hdfs namenode -format

5、启动守护进程

sbin/start-dfs.sh

6、启动yarn

sbin/start-yarn.sh

启动yarn之前，需要先执行过 sbin/start-dfs.sh

至此，hadoop伪分布式环境搭建完成，生产环境使用cloudera manager进行分布式安装。
接下来，将依次进行hive,hbase,sqoop,spark的安装。