可以参考hadoop官网:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common/SingleCluster.html
1.jdk安装
可以参考
cnetos7下卸载openjdk和安装jdk1.8
2.安装ssh
sudo yum install ssh
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
3. 下载并解压hadoop
下载:直接去cdh网站下载
解压:tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app
4.hadoop配置文件的修改(hadoop_home/etc/hadoop)
hadoop-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_161(jkd 的安装路径)
etc/hadoop/core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/app/tmp</value>
</property>
</configuration>
etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
5. 启动hdfs
1.执行
$ bin/hdfs namenode -format (格式化文件系统:仅第一次启动时执行即可,不要重复执行,重复执行后会导致datanode启动不了,因为namenode和datanode的clousterID不同)
2.启动
$ sbin/start-dfs.sh
3.验证是否启动成功
一种方式:用 jps命令查看进程:
7364 NameNode
7876 SecondaryNameNode
7559 DataNode
另外的方式:
在浏览器中输入:http://node1:50070 可以查看hdfs的信息:
6.停止hdfs
$ sbin/stop-dfs.sh
yarn搭建
1.etc/hadoop/mapred-site.xml:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2.etc/hadoop/yarn-site.xml:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
启动
$ sbin/start-yarn.sh
停止
$ sbin/stop-yarn.sh
提交mapreduce 作业到 yarn 上运行:
#hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar 所在目录
/root/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce
#执行命令
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3