windows本机搭建Hadoop环境

记录一下整个过程:

一、下载Hadoop安装包

  • 官网下载Hadoop 2.6,并配置相关环境变量,自行百度
  • 下载hadooponwindows-master.zip,能支持Hadoop能在Windows运行的工具,解压并覆盖Hadoop安装目录下bin和etc目录

二、修改相关配置文件

etc/hadoop目录下

  • core-site.xml
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
  • hdfs-site.xml
<configuration>
    <!-- 这个参数设置为1,因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>/D:/java/hadoop-2.6.0/hadoop-2.6.0/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>/D:/java/hadoop-2.6.0/hadoop-2.6.0/datanode</value>  
    </property>
</configuration>
  • mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
  • yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>
  • hadoop-env.cmd
    找到JAVA_HOME那一行
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_151

三、启动Hadoop

  • 格式化hdfs
    在Hadoop home目录创建namenode,datanode,tmp三个目录,打开cmd窗口执行hadoop namenode -format
    出现如下窗口表示成功


    image.png
  • 启动Hadoop
    进到sbin目录执行start-all.cmd,会弹出四个窗口
  • 打开localhost:8088和localhost:50070就可以看到yarn和hdfs的信息了
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容