Hive:用于Hadoop的一个数据仓库系统,他提供了类似于SQL的查询语言
HBase:一种分布的,可伸缩的,大数据存储库,,支持随机、实时读/写访问
Pig:分析大数据集的一个平台
Sqoop:为高校传输批量数据而设计的一种工具,其用于Hadoop和结构化数据存储库如关系数据库之间的数据传输
Flume:一种分布式的、可靠的、可用的服务,其用于高效搜集,汇总,移动大量日志数据
Zookeeper:一种集中服务,其用于维护配置信息,命名,提供分布式同步,以及提供分组服务
Mahout:一种基于Hadoop及其学习和数据挖掘的分布式计算框架算法集,实现了多种MapReduce模式的数据挖掘算法
Spark:一个开源的数据分析集群计算框架,采用Scala语言实现,使用Scala作为应用框架
Storm:一个分布式的、容错的实时计算系统。属于流处理平台,多用于实时计算,并更新数据库。可对数据流做连续查询。还可以用于“分布式RPC”,以并行的方式运行大型的运算。
Shark:一个专为Spark打造的大规模数据仓库系统,兼容Hive。可以用100倍的速度执行Hive QL。
Phoenix:一个构建在HBase之上的一个SQL中间层,完全使用java编写,提供了一个客户端可嵌入的JDBC驱动。
Tez:一个基于YARN之上的DAG。拆分子过程,合并子过程。加快运算速度。
Ambari:一个供应、管理和监视Hadoop集群的开源框架,它提供一个直观的操作工具和一个健壮的Hadoop API,可以隐藏复杂的Hadoop操作,使集群操作大大简化。
Hadoop生态
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...