- 数据采集技术
- 数据存储技术
- 离线数据分析技术
- 实时数据分析技术
- 数据可视化技术
数据采集技术
- 离线采集数据库数据
sqoop
datax - 实时采集数据库数据
canel
Oracle GoldenGate - 日志采集
Flume
Logstash
Scribe
数据存储技术
- 分布式文件系统
hdfs
alluxio - 键值型数据库
hbase
redis - 分布式消息队列
Kafka
rocketmq
离线数据分析技术
Mapreduce
Spark
impala
实时数据分析技术
- 实时数据分析
storm
spark streaming - storm
纯实时计算
实时性高 - spark streaming
小批量计算
复杂逻辑计算
和hadoop生态圈结合紧密
数据可视化技术
- 数据可视化特点
个性化 - 数据可视化技术
hue
zeppelin
