1、前期准备
1.1、新建一个用户
$ su
password:
# useradd hadoop
# passwd hadoop
New passwd:
Retype new passwd
1.2、SSH设置和密钥生成
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ chmod 600 ~/.ssh/authorized_keys
1.3、下载jdk和hadoop
都是解压然后设置环境变量就可以。这里不做详细说明，本文使用的jdk版本是jdk1.8.0_111，hadoop版本是Hadoop 2.8.1
修改 ~/.bashrc
export JAVA_HOME=/usr/local/jdk1.8.0_111
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_INSTALL=$HADOOP_HOME
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
修改后执行 source ~/.bashrc
然后分别查看 java -version 和hadoop version，确认能正常显示版本信息。
1.4、修改hosts
vi /etc/hosts 增加如下语句，其中roy为主机名
127.0.0.1 roy
1.5、创建默认日志文件夹，并赋值权限给hadoop用户
mkdir /usr/local/hadoop/logs
chown hadoop:hadoop /usr/local/hadoop/logs
2、单机部署
Hadoop部署方式分三种，Standalone mode、Pseudo-Distributed mode、Cluster mode，其中前两种都是在单机部署。
2.1、tandalone mode（本地单独模式）
这种模式，仅1个节点运行1个java进程，主要用于调试。这里不做具体介绍
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar
有时候会碰到这个错误
解决 Unable to load native-hadoop library for your platform
2.2、pseudo-distributed mode（伪分布模式）
这种模式是，1个节点上运行，HDFS daemon的 NameNode 和 DataNode、YARN daemon的 ResourceManger 和 NodeManager，分别启动单独的java进程，主要用于调试。
-
2.2.1、修改$HADOOP_HOME/etc/hadoop/里面的配置文件
core-site.xml
<configuration>
<property>
<name>fs.default.name </name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
-
2.2.2、到$HADOOP_HOME/sbin/下启动dfs，依次运行以下语句
rm -rf /tmp/hadoop-hadoop/
-
hdfs namenode -format
出现如下信息代表format成功：
image.png sh start-dfs.sh
jps
查看可以看到如下信息：
[hadoop@roy sbin]$ jps
15333 DataNode
15613 Jps
15198 NameNode
15502 SecondaryNameNode
-
2.2.3、访问NameNode的web页面
http://localhost:50070/
image.png 2.2.4、重启dfs
sh stop-dfs.sh
hdfs namenode -format
sh start-dfs.sh
重启后，jps命令查看可能会发现没有DataNode的情况，需要删除dfs.data的临时目录/tmp/hadoop-${user}/ ，再重启。2.2.5、测试dfs
依次执行如下语句
#创建文件夹
hdfs dfs -mkdir /user /user/test /user/test/input
#上传本地文件到hdfs
hdfs dfs -put $HADOOP_HOME/*.txt /user/test/input
#查看input文件
hadoop fs -ls /user/test/input
#删除output文件夹，如果output存在的话，测试wordcount会报错：Output directory hdfs://localhost:9000/user/hadoop/output already exists
hdfs dfs -rm -r output
#执行wordcount脚本
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount /user/test/input output
#显示执行结果
hdfs dfs -cat output/*
#内容太长，可以拷贝到本地查看
hdfs dfs -get output /home/hadoop/output
-
2.2.6、执行YARN job
MapReduce V2框架叫YARN - 2.2.6.1、修改配置文件mapred-site.xml，yarn-site.xml
# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
# vi etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
# vi etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
-
2.2.6.2、启动
sbin/start-yarn.sh - 2.2.6.3、jsp确认，多出NodeManager和ResourceManager
$ jps
5185 Jps
2785 ResourceManager
1778 NameNode
2082 SecondaryNameNode
1913 DataNode
2891 NodeManager
-
2.2.6.4、访问ResourceManger的web页面
http://localhost:8088/
image.png
