Hadoop运行模式-学习笔记四 2020-04-02

1.1 本地运行模式（测试会用到）

可以先去官网学习

  1.1.1 官方Grep案列

  1.1.2 官方WordCount案列

1.2 伪分布式运行模式（测试会用到）

  1.2.1 启动HDFS运行MapReduce

1.2.2 YARN上运行MapReduce

 1.2.3 配置历史服务器

  1.2.4 配置日志的聚集

 

 1.2.5 配置文件说明

1.3 完全分布式运行模式（开发用）

  1.3.1 虚拟机准备

  1.3.2 编写集群分发脚本xsync

  1.3.3 集群配置

  1.3.4 集群单点启动

  1.3.5 SSH无密码登录配置（可以解决大量节点启动）

  1.3.6 群起集群

 1.3.7 集群启动/停止方式总结

  1.3.8 集群时间同步

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 大数据学习笔记1000条
    Zookeeper用于集群主备切换。 YARN让集群具备更好的扩展性。 Spark没有存储能力。 Spark的Ma...
    Yobhel阅读 7,396评论 0赞 34
  • drbd指南
    feisky云计算、虚拟化与Linux技术笔记posts - 1014, comments - 298, trac...
    不排版阅读 3,950评论 0赞 5
  • Hadoop集群环境搭建
    前言 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的...
    piziyang12138阅读 1,978评论 0赞 3
  • 2、hadoop运行模式
    hadoop运行模式介绍 hadoop有三种运行模式 本地模式（默认模式）：不需要启用单独进程，直接可以运行，测试...
    ZFH__ZJ阅读 2,019评论 0赞 2
  • 第4章:YARN
    Apache YARN(Yet Another Resource Negotiator)是一个Hadoop集群资源...
    单行线的旋律阅读 2,825评论 0赞 11