一、SparkStreaming概述
1.SparkStreaming设计动机
- 很多重要的应用要处理大量在线流式数据，并返回近
实时的结果- 社交网络趋势跟踪
- 电商网站指标统计
- 广告系统
- 具备分布式流式处理框架的基本特征
- 良好的扩展性
- 低延迟（秒级别）
2.批处理
- 调度延迟
-
处理延迟
批处理
3.流式处理
- 流式处理
-
低延迟
流式处理
4.流式计算框架
流式处理框架
5.什么是SparkStreaming
- 将Spark扩展为大规模流处理系统
- 可以扩展到100节点规模，达到秒级延迟
- 高效且具有良好的容错性
- 提供了类似批处理的API，很容易实现复杂算法
6.SparkStreaming特点
-易用性好
- 提供很多高级算子，实现复杂运算非常简单
- 流式API和批处理API很类似，学习成本低
- 平台统一
- 不需要维护两套系统分别用于批处理和流式处理
- 可以自由调用Spark的组件，如SparkSQL、Mllib
- 生态丰富
- 支持各种数据源和数据格式
- 社区活跃，发展迅猛
二、SparkStreaming工作原理
1.SparkStreaming原理
- 将流式计算转化为一批很小的、确定的批处理作业（micro-batch）
- 以X秒为单位将数据流切分成离散的作业
- 将每批数据看成RDD，使用RDD操作符处理
-
最终结果以RDD为单位返回（写入HDFS或者其他系统）
Spark流式处理
2.Spark组件之间数据集类比
image
3.核心概念-Dstream & Batch
核心
4.核心概念-DStream
- 将连续的数据进行离散表示
-
DStream中每一个离散的片段都是一个RDD
image
5.Stream Data Source
- 内置数据源
- socketTextStream
- textFileStream
- 其他
- 外部数据源
- Kafka
- Flume
- ZeroMQ
-
其他
image
6.Stream Transformation
- 类RDD转换
- map、flatMap、filter、reduce
- groupBykey、reudceByKey、join
- Streaming独有转换
- window
- mapWithState
7.Stream Output
- 将处理过的数据输出到外部系统
- 内置输出
- saveAsTextFiles
- 自定义输出
- foreachRDD
8.基于窗口的transformation函数
- window、countByWindow、reduceByWindow等
- window length：窗口长度
- sliding interval：滑动窗口时间间隔
示例：
pairs.reduceByKeyAndWindow((a:Int,b:Int) => (a + b), Seconds(3),
Seconds(2))
image
9.mapWithState
-由Spark Streaming自己维护状态信息，不需要借助外部的存储系统
- 相对updateStateByKey性能提升10倍左右
- 相对updateStateByKey维护的key状态多10倍
-
接收参数为StateSpec对象，返回一个新的DStream
image
10.Stream Checkpoint
- 可以checkpoint的两种类型数据
- Metadata checkpointing，针对Driver中的元数据设置检查点，包括配置信息、DStream一系列操作、提 交了job但未完成的batch等
- Data checkpointing，保存stateful带状态操作的数据
- Checkpoint局限性
Application 重新编译后，从checkpoint中恢复会失 败，需要清空checkpoint
三、SparkStreaming程序设计
1.Spark Streaming程序设计
image
2.实时流处理系统设计与实现
[图片上传失败...(image-b052c6-1531747448158)]
3.用户行为分析系统需求
- 用户行为分析系统处理流程
- 用户使用的客户端会收集用户行为事件（以点击事件为例），将数据发送到Kafka
- 后端基于SaprkStreaming的实时分析系统从kafka中消费数据，进行实时分析
- 实时系统分析完成的数据写入到外部存储MySql，可以实时获取用户的行为数据，并可以导出进行离 线统计分析
4.用户行为分析系统数据源
- 数据源
Kafka订制主题- 一个事件包含4个字段：
- deviceId：软件设备版本号
- deviceType：软件设备类型
-time：事件发生的时间戳
-click：点击次数
- 数据格式：deviceId|deviceType|time|click
