1.jdk安装

可以参考
cnetos7下卸载openjdk和安装jdk1.8

2.安装ssh

sudo yum install ssh
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

3. 下载并解压hadoop

下载：直接去cdh网站下载
解压：tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app

4.hadoop配置文件的修改(hadoop_home/etc/hadoop)

hadoop-env.sh

    export JAVA_HOME=/usr/local/java/jdk1.8.0_161（jkd 的安装路径）

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/app/tmp</value>
    </property>

</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

5. 启动hdfs

1.执行

 $ bin/hdfs namenode -format (格式化文件系统：仅第一次启动时执行即可，不要重复执行，重复执行后会导致datanode启动不了，因为namenode和datanode的clousterID不同)

2.启动

 $ sbin/start-dfs.sh

3.验证是否启动成功
一种方式：用 jps命令查看进程：
7364 NameNode
7876 SecondaryNameNode
7559 DataNode
另外的方式：
在浏览器中输入：http://node1:50070 可以查看hdfs的信息：

hdfs管理页面.png

6.停止hdfs

$ sbin/stop-dfs.sh

yarn搭建

1.etc/hadoop/mapred-site.xml:

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

2.etc/hadoop/yarn-site.xml:

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

启动

$ sbin/start-yarn.sh

停止

$ sbin/stop-yarn.sh

提交mapreduce 作业到 yarn 上运行：

#hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar 所在目录
/root/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce
#执行命令
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3

最后编辑于：2019.03.21 15:53:25

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

hadoop伪分布式安装步骤