项目效果
项目架构
技术选型
数据生成：业务数据库系统
Oracle：工单数据、物料数据、服务商数据、报销数据等
数据采集
Sqoop：离线数据库采集
数据存储
Hive【HDFS】：离线数据仓库【表】
数据计算
SparkCore：类MR开发方式【写代码调用方法函数来处理：面向对象 + 面向函数】
对非结构化数据进行代码处理
场景：ETL
SparkSQL：类HiveSQL开发方式【面向表】
对数据仓库中的结构化数据做处理分析
场景：统计分析
开发方式
DSL：使用函数【DSL函数 + RDD函数】
SQL：使用SQL语句对表的进行处理
功能：离线计算 + 实时计算
注意：SparkSQL可以解决所有场景的分布式计算，离线计算的选型不仅仅是SparkSQL
SparkSQL/Impala/Presto
使用方式
Python/Jar：spark-submit
ETL
ThriftServer：SparkSQL用于接收SQL请求的服务端，类似于Hive的
Hiveserver2
PyHive :Python连接SparkSQL的服务端，提交SQL语句
DBC：Java连接SparkSQL的服务端，提交SQL语句
spark-sql -f ：运行SQL文件，类似于hive -f
beeline：交互式命令行，一般用于测试
数据应用
MySQL：结果存储
Grafana：数据可视化工具
监控工具
Prometheus：服务器性能指标监控工具
调度工具
AirFlow：任务流调度工具
项目资料
链接：https://pan.baidu.com/s/1ZO8wVn4IXAebGqH5gyRR6w
提取码：jsgg
--来自百度网盘超级会员V5的分享
