Linux下的Hadoop安装

Hadoop的安装：

1.sudo cp hadoop-2.6.0-cdh5.6.0.tar.gz /usr

将Hadoop安装包移到usr下

2.sudo tar zxvf hadoop-2.6.0-cdh5.6.0.tar.gz

解压缩

3.sudo chown -R hadoop:hadoop hadoop-2.6.0-cdh5.6.0

修改所有者为hadoop

修改所有者

4.sudo mv hadoop-2.6.0-cdh5.6.0 hadoop

修改名字为hadoop

修改名字

5.vi ~/.bashrc

修改配置文件
将以下内容写在最后一行

export HADOOP_INSTALL=/usr/hadoop
export PATH= $PATH:$ HADOOP_INSTALL/bin
export PATH= $PATH:$ HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME= $HADOOP_INSTALL export HADOOP_COMMON_HOME=$ HADOOP_INSTALL
export HADOOP_HDFS_HOME= $HADOOP_INSTALL export YARN_HOME=$ HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR= $HADOOP_INSTALL/lib/native export HADOOP_OPTS="-Djava.library.path=$ HADOOP_INSTALL/lib"

写入

写完后：wq!保存退出编辑模式

6.source ~/.bashrc

重新载入配置文件

重新载入

7.cd /hadoop/etc/hadoop/

进入etc下的hadoop目录下

进入目录

8.vi hadoop-env.sh

配置hadoop-env.sh文件内容

注释掉

将上面这句话前面加#注释掉

加入

在后面加上如下语句

export JAVA_HOME=/usr/jdk18
export HADOOP_PREFIX=/usr/hadoop

export HADOOP_OPTS="-Djava.library.path= $HADOOP_PREFIX/lib:$ HADOOP_PREFIX/lib/nativ"

后保存退出

9.vi core-site.xml

打开这个文件

打开文件

加入如下语句：

<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
<description>Abase?for?other temporary directories.
</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

加入后

10.cp mapred-site.xml.template mapred-site.xm

将mapred-site.xml.template文件复制一份名为mapred-site.xml的文件
修改mapred-site.xml文件

复制

打开文件

加入以下语句：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

添加后

11.vi yarn-site.xml

打开文件

打开

加入以下语句

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

修改

12.vi hdfs-site.xml

进入文件

进入

添加以下内容：

<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/dfs/data</value>
</property>