Hadoop | 简述&部署

1. 分布式解决方案

  • 分布式存储


    image.png
  • 分布式计算


    image.png

    image.png

    image.png
  • 有向无环图


    image.png

    image.png

    image.png
  • 冗余存储与冗余计算


    image.png

     现实中 Hadoop 的实现机制 则更加 复杂 ,但其 架构的基本思路 和本节很 类似 。
     分布式存储 和分布式计算 这两者间并没有关系,它们各自都可以独立存在。
     当MapReduce 运行于 HDFS 上时, 性能较好

2. Hadoop 简述

  • Hadoop 由来


    image.png

    image.png

    image.png
  • Hadoop 相关项目


    image.png

    image.png
  • Hadoop 应用


    image.png

3. Hadoop 部署

  • 部署综述


    image.png
  • 部署步骤
    image.png

    硬件环境

由于分布式计算需要用到很多机器,部署时户须提供台至几根据“部署规划 ”确定。
实际上,完全模式部署 Hadoop 时, 最低需要两台机器(一个主节点,一个从节点), 此 外, 硬件方面每台机器最低要求有 1GB 内存, 20GB 硬盘空间 。

软件环境

image.png

  • Hadoop 依赖软件


    image.png
  • Hadoop 部署实例


    image.png

    image.png

    image.png

    image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 2018年12月勒索病毒疫情分析近年来勒索病毒的快速兴起,给企业和个人带来了严重的威胁,360互联网安全中心针对勒...
    溪边的墓志铭阅读 1,324评论 0 0
  • 1、ssl和ssh的区分:我的理解是ssl针对http这些协议,通过加密保障通信安全。ssh针对文件等传输,保障数...
    Gen_阅读 2,286评论 0 0
  • 冬夜里,我看到一个小男孩躲在一个黑暗的角落里; 他燃起最后一根火柴,唱起圣歌用以驱逐黑暗和寒冷。 野兽坐下舔舐伤口...
    Clown_and_smile阅读 1,364评论 0 0
  • 关于生孩子,我们想那么多有用么? 适逢今天有点空闲时间,单位的阿姨看见我,上下打量我,摸了下我的肚子,然后话题...
    仈月阅读 2,958评论 0 0
  • Ctrl+N 查找类 Ctrl+Alt+L格式化代码 Ctrl+Alt+O优化导入的类和包 Ctrl+Alt+T:...
    Ten_Minutes阅读 1,814评论 0 0

友情链接更多精彩内容