hadoop

下载
http://hadoop.apache.org/releases.html

测试ssh是否可以登录
ssh: connect to host localhost port 22: Connection refused

配置

hdfs-site.xml

<property>
    <!--设置HDFS存储数据的副本数量-->
    <name>dfs.replication</name>
    <value>1</value>  <!--在伪分布式中，一份就可以了，真正的分布式一般存3份-->
</property>

mapred-site.xml.template
先把文件重命名为mapred-site.xml
然后再对它进行编辑

<property>
    <!--指定mapreduce编程模型运行在yarn上-->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

yarn-site.xml

  <property>
    <!--指定yarn老大（resourcemanager的地址）-->
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost:8032</value>
  </property>
  <property>
      <!--mapreduce执行shuffle时获取数据的方式-->
      <name>yarn.nodemanager.hostname</name>
      <value>mapreduce_shuffle</value>
  </property>

初始化HDFS（格式化）

bin/hdfs namenode -format