Hadoop概述

现在很多人把大数据就理解为Hadoop,虽然Hadoop生来就是为了处理大数据的,但是完全的划等号是有点不对的。

  • Hadoop是一个虚构的名词
  • Hadoop的项目作者的孩子给一个棕黄色的大象起的名字

什么是Hadoop

Hadoop是一个开源的,高可靠的,考扩展的,分布式的计算框架。

Hadoop是一个分布式系统基础架构,由Apache基金会开发,用户可以在不了解底层分布式细节的情况下,开发分布式程序,充分利用集群的威力高速运算和存储。

它包含的模块:

  • Hadoop Common 通用的工具类
  • HDFS Hadoop的分布式文件系统
  • Hadoop Yarn 任务调度,和集群资源的管理
  • MapReduce 并行的处理大数据集
  • Ozone Hadoop的对象存储

狭义Hadoop & 广义Hadoop

狭义的Hadoop: 是一个适合大数据分布式存储,分布式计算和资源调度的平台
广义的Hadoop:指Hadoop生态系统,hadoop是其中最重要最基础的一部分,生态系统中的每一个子系统,只解决特定某一个问题域,不搞统一型的全能系统,而是小而精的多个系统。

image

注:Pig和Mahout基本上不用了

Hadoop流行原因

  • 开源,可以对源码二次开发
  • 社区活跃,参与者很多
  • 涉及到分布式存储和计算的方方面面,Flume进行数据采集,Spark/MR/Hive进行数据处理,HDFS/HBase进行数据存储
  • 已经得到业界的验证

最后

这就是Hadoop的概述

参考

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容