目录
1.系统架构
2.环境搭建
2.1本地环境下kafka批量导入数据
2.2 kafka-manager的安装与配置
3.1 Spark Streaming 性能调优(一): 解决并行度
3.2 Spark Streaming 性能调优(二): 解决task倾斜
系统架构图
节点解析:
1.服务器集群:
服务器集群负责对外提供接口,每次调用接口,都会生成若干日志,这些日志信息都会被写入由flume + kafka组成的日志信息队列中
2.flume + kafka:
日志信息队列,负责接收服务器提供的日志信息,并按次序放入队列,flume负责接收多个生产者(producer)提供的日志信息,kafka负责分发日志信息给多个消费者(consumer),即上图中的spark计算集群
3.spark计算集群:
从日志信息队列中获取日志信息,并根据日志信息进行大数据处理,随后将处理结果返回或显示在网页上,供后台管理者使用.
