大数据基础知识学习

大数据基础知识学习

文件存储:Hadoop HDFS、Tachyon、KFS

离线计算:Hadoop MapReduce、Spark

流式、实时计算:Storm、Spark Streaming、S4、Heron、Flink

K-V、NOSQL数据库:HBase、Redis、MongoDB

资源管理:YARN、Mesos

日志收集:Flume、Scribe、Logstash、Kibana

消息系统:Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、分布式协调服务:Zookeeper、Kylin、Druid

集群管理与监控:Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习:Mahout、Spark MLLib

数据同步:Sqoop

任务调度:Oozie

这样整体之后,对于如何学习是不是有个更明确的路线了呢?

那么个人觉得初步学习的技术应该有以下这些:

HDFS

MapReduce

YARN

SparkStreaming

SparkSQL

Hive

Impala

HBase

Apache Kylin

Flume

参考文章

大数据初步了解 

http://lxw1234.com/archives/2016/11/779.htm

大数据杂谈 

http://lxw1234.com/archives/2016/12/823.htm

推荐文章

零基础学习Hadoop 

http://blog.csdn.net/qazwsxpcm/article/details/78460840

HBase 应用场景 

http://blog.csdn.net/lifuxiangcaohui/article/details/39894265

Hadoop硬件选择 

http://bigdata.evget.com/post/1969.html

图解Spark:核心技术与案例实战 

http://www.cnblogs.com/shishanyuan/category/925085.html

一个大数据项目的架构设计与实施方案 

http://www.360doc.com/content/17/0603/22/22712168_659649698.shtml

相关文档

Hadoop-10-years 

链接:http://pan.baidu.com/s/1nvBppQ5 密码:7i7m

Hadoop权威指南 

链接:http://pan.baidu.com/s/1skJEzj3 密码:0ryw

Hadoop实战 

链接:http://pan.baidu.com/s/1dEQi29V 密码:ddc7

Hadoop源代码分析 

链接:http://pan.baidu.com/s/1bp8RTcN 密码:ju63

Spark最佳学习路径 

链接:http://pan.baidu.com/s/1i5MmJVv 密码:qfbt

深入理解大数据+大数据处理与编程实践 

链接:http://pan.baidu.com/s/1dFq6OSD 密码:7ggl

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容