DataStream是Flink API中最核心的数据结构,代表一个运行在多个分区上的并行流。
1.map&flatMap
屏幕快照 2019-03-19 下午3.30.50.png
2.filter
屏幕快照 2019-03-19 下午3.49.35.png
3.keyBy
屏幕快照 2019-03-19 下午3.50.17.png
4.KeyedStream
屏幕快照 2019-03-19 下午3.54.17.png
5.reduce&fold&Aggregations
屏幕快照 2019-03-19 下午3.56.11.png
maxBy返回最大值的元素,max只返回最大值,其他的不变
6.Interval Join
屏幕快照 2019-03-19 下午4.52.54.png
7.connect & union
屏幕快照 2019-03-19 下午4.54.05.png
coMap和CoFlatMap分别是作用在ConnectedStreams,ConnectedStreams->DataStream
8.split & select
屏幕快照 2019-03-19 下午5.02.49.png
9.project
屏幕快照 2019-03-19 下午5.11.24.png
屏幕快照 2019-03-19 下午5.11.24.png
10.物理分区
屏幕快照 2019-03-19 下午5.30.03.png
并行化DataFlow
屏幕快照 2019-03-19 下午5.30.15.png
算子间数据传递模式
屏幕快照 2019-03-19 下午5.30.57.png
物理分区
屏幕快照 2019-03-19 下午5.31.30.png
rescale和rebalance区别:
rescale只在TaskManager内;rebalance会在跨TaskManager分配,有网络传输代价,但是数据倾斜非常有用。
屏幕快照 2019-03-19 下午5.31.51.png