记录一下整个过程:
一、下载Hadoop安装包
- 官网下载Hadoop 2.6,并配置相关环境变量,自行百度
- 下载hadooponwindows-master.zip,能支持Hadoop能在Windows运行的工具,解压并覆盖Hadoop安装目录下bin和etc目录
二、修改相关配置文件
etc/hadoop目录下
- core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- hdfs-site.xml
<configuration>
<!-- 这个参数设置为1,因为是单机版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/java/hadoop-2.6.0/hadoop-2.6.0/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/java/hadoop-2.6.0/hadoop-2.6.0/datanode</value>
</property>
</configuration>
- mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
- hadoop-env.cmd
找到JAVA_HOME那一行
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_151
三、启动Hadoop
-
格式化hdfs
在Hadoop home目录创建namenode,datanode,tmp三个目录,打开cmd窗口执行hadoop namenode -format
出现如下窗口表示成功
- 启动Hadoop
进到sbin目录执行start-all.cmd,会弹出四个窗口 - 打开localhost:8088和localhost:50070就可以看到yarn和hdfs的信息了