Hadoop基本结构图
HDFS:分布式文件系统
MapReduce:分布式并行编程模型
YARN:资源管理和调度器
Tez:运行在YARN之上的下一代Hadoop查询处理框架
Hive:Hadoop上的数据仓库
HBase:Hadoop上的非关系型的分布式数据库
Pig:一个基于Hadoop的大规模数据分析平台,提供类似SQL的查询语言Pig Latin
Sqoop:用于在Hadoop与传统数据库之间进行数据传递
Oozie:Hadoop上的工作流管理系统
Zookeeper: 提供分布式协调一致性服务
Storm:流计算框架
Flume: 一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统
Ambari: Hadoop快速部署工具,支持Apache Hadoop集群的供应、管理和监控
Kafka:一种高吞吐量的分布式发布订阅消息系统,可以处理消费者规模的网站中的所有动作流数据
Spark: 类似于Hadoop MapReduce的通用并行框架