Hadoop的优点:
1.高可靠性:Hadoop按位存储和处理数据
2.高扩展性:Hadoop是在计算机集群中完成计算任务,这个集群可以方便的扩展到几千台
3.高效性:Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度快
4.高容错性:Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配
5.低成本:Hadoop是开源的,集群是由廉价的PC机组成
Hadoop生态
1 HDFS--->hadoop分布式文件系统
2 MapReduce--->hadoop分布式计算
3Hbase--->hadoop建立在HDFS之上,面向列的NoSQL数据库,用于快速读/写大量数据
4 Zookeeper--->hadoop分布式协调服务
5 Oozie--->hadoop的一个可扩展的工作体系
6Pig--->hadoop中用于分析Hadoop数据集的脚本语言
7Hive --->hadoop中类似于SQL高级语言,用于运行存储在Hadoop上的查询语句
8 8Sqoop--->hadoop中一个连接工具,用于在关系数据库、数据仓库和Hadoop之间转移数据
9 Flumep--->hadoop中用于收集、汇总大数据,并将单台计算机的大量数据转移到HDFS
10Whirr是一组用来运行云服务的Java类库,将Hadoop集群运行于Amazon EC2、Rackspace等虚拟云计算平台。
11Mahout-->是Hadoop的一个机器学习和数据挖掘库
12 BigTop-->Hadoop子项目和相关组件,是一个用于打包和互用性测试的程序和框架
13 Ambari-->配置、管理和监控Hadoop集群
大数据Hadoop第一天
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- //我所经历的大数据平台发展史(三):互联网时代 • 上篇http://www.infoq.com/cn/arti...
- http://geek.csdn.net/news/detail/210469http://www.36dsj.c...
- 史上最全的“大数据”学习资源(上)-博客-云栖社区-阿里云https://yq.aliyun.com/articl...
- //一共81个,开源大数据处理工具汇总(上) | 36大数据http://www.36dsj.com/archiv...
- 当数据量增大到超出了单个物理计算机存储容量时,有必要把它分开存储在多个不同的计算机中。那些管理存储在多个网络互连的...