Windows Hadoop新手安装五部曲

image.png

0x01 下载:

hadoop和对应版本编译好的bin文件:
https://github.com/cdarlint/winutils
https://archive.apache.org/dist/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz
解压hadoop-2.9.0.tar.gz后,将编译的好的bin文件夹替换掉原始的bin文件夹:

image.png

0x02 修改:

配置文件:

  • hadoop-2.9.0/etc/hadoop/hadoop-env.cmd
    JAVA_HOME设置为本机上jdk的路径,Program file目录对应的是PROGRA~1
    set JAVA_HOME=C:\PROGRA~1\Java\jdk-1.8.0


    image.png
  • hadoop-2.9.0/etc/hadoop/core-site.xml
<configuration>
  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
  </property>
</configuration>
  • hadoop-2.9.0/etc/hadoop/mapred-site.xml
<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>
  • hadoop-2.9.0/etc/hadoop/hdfs-site.xml
<configuration>
<property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/C:/env/hadoop-2.9.0/data/namenode</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
     <value>/C:/env/hadoop-2.9.0/data/datanode</value>
   </property>
</configuration>
  • hadoop-2.9.0/etc/hadoop/yarn-site.xml
<configuration>
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
   <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

0x03 启动

  • 在bin目录下输入hadoop namenode -format,格式化namenode:


    image.png
  • 在sbin目录下输入start-all,启动hadoop:


    image.png
  • 输入jps,看到如下结果,启动成功:


    image.png

0x04 访问:

0x05 停止:

  • 在sbin目录下输入stop-all


    s

0x06 参考:

https://www.jianshu.com/p/faf038923093
https://dimensionless.in/know-how-to-install-and-run-hadoop-on-windows-for-beginners/

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容