Flink学习笔记之三DataStream API

DataStream是Flink API中最核心的数据结构，代表一个运行在多个分区上的并行流。

1.map&flatMap

屏幕快照 2019-03-19 下午3.30.50.png

2.filter

屏幕快照 2019-03-19 下午3.49.35.png

3.keyBy

屏幕快照 2019-03-19 下午3.50.17.png

4.KeyedStream

屏幕快照 2019-03-19 下午3.54.17.png

5.reduce&fold&Aggregations

屏幕快照 2019-03-19 下午3.56.11.png

maxBy返回最大值的元素，max只返回最大值，其他的不变

6.Interval Join

屏幕快照 2019-03-19 下午4.52.54.png

7.connect & union

屏幕快照 2019-03-19 下午4.54.05.png

coMap和CoFlatMap分别是作用在ConnectedStreams，ConnectedStreams->DataStream

8.split & select

屏幕快照 2019-03-19 下午5.02.49.png

9.project

屏幕快照 2019-03-19 下午5.11.24.png

10.物理分区

屏幕快照 2019-03-19 下午5.30.03.png

并行化DataFlow

屏幕快照 2019-03-19 下午5.30.15.png

算子间数据传递模式

屏幕快照 2019-03-19 下午5.30.57.png

物理分区

屏幕快照 2019-03-19 下午5.31.30.png

rescale和rebalance区别：

rescale只在TaskManager内；rebalance会在跨TaskManager分配，有网络传输代价，但是数据倾斜非常有用。

屏幕快照 2019-03-19 下午5.31.51.png