一、MapReduce
MapReduce是当前最著名也是运用最广泛的分布式计算框架,由Google建立。
Hadoop是基于MapReduce的框架建立起来的分布式计算系统,
Spark在Map Reduce的基础上利用有向无环图构建了RDD,目的就是为了减少Map和Reduce之间的数据交换次数,所以速度就快了。
另一个区别就是,Hadoop用硬盘存储数据,Spark用内存存储数据,Storm只接受实时数据流而不存储数据。
二、Hadoop
是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。
三、Hive
是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
四、HBase
是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
五、Zookeeper
是一个为分布式应用所设计的分布的、开源的协调服务,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用协调及其管理的难度,提供高性能的分布式服务