以下是本人Flink学习的相关内容,对于本人,目前来说flink分为两个阶段,第一个阶段主要是2020年12月份到2021年1月份吧,学习的主要载体是 ⟪基于Apache Flink的流处理⟫这本书,b站上的视频等...但是上班也用不上Flink一直从事的是离线开发的工作....SparkSQL BOY和OLAPSQL BOY....想体验一下FlinkSQL BOY...第二个阶段是目前这个阶段,我准备把Flink给捡起来,学习的主要载体是⟪Flink内核原理与实现⟫这本书,flink官网,别人博客的成果等...
第二个阶段🤑
⭐Flink入门
1. Flink概览:简单介绍了Flink的特点,框架架构,运行时架构
3. Flink Source的使用和类型
Source类型例如有:从文件中读取,从集合中读取,Socket文本流,从Kafka中读取等
4. Flink Transformation的使用和类型,及富函数的简单使用说明
Transformation类型例如有:map,filter,flatmap,keyBy,max&maxBy,reduce
5. Flink 数据分区,Sink的使用和类型,及简单的介绍了时间和窗口的应用
数据分区包含:随机和轮询分区,广播,全局分区,及自定义重分区等
Sink类型例如有:写入文件系统,写入Kafka(重点),写入Ridis,写入ES,写入Mysql,写入自定义Sink等
时间语义包含:处理时间和事件时间,介绍了水位线的特性,生成策略,水位线的传递,及延迟数据的处理
简单介绍了窗口的分类:滚动窗口,滑动窗口,会话窗口(合并)等,及简单使用了窗口的功能(这一块是重点)
6. Flink 处理函数,定时器的简单应用,多流转换,状态编程,状态生存时间TTL,容错机制
process方法中open,onTimer的应用,定时器结合处理时间,事件时间的应用,windowall实现TOP_N等(触发器呢)
侧输出流,联合(union),连接(connect),双流join-窗口连接,双流join-间隔连接,双流join-同组连结
flink和kafka连接时的精准一次保障的实现
这块比较多....后面在系统的学习一下,忘得差不多了....
⭐FlinkSQL
1. Flink TableAPI/SQL任务的代码结构,动态输出表转化为输出数据,SQL中指定时间属性
2. Flink TableAPI/SQL DDL/DML语法
3. Flink UDF的使用,及Module,Catalog,任务参数配置简单介绍
第一个阶段😁
⭐⟪基于Apache Flink的流处理⟫
这一块有什么用:没什么用了
1. Flink 状态化流处理概述
2. Flink 流处理基础
3. Flink Flink架构
4. Flink 开发环境
5. Flink DataStream 1.7版
6. Flink 基于时间和窗口的算子
7. Flink 有状态算子和应用
8. Flink 读写外部系统
9. Flink 搭建Flink运行流式应用
10. Flink 流式应用运维
⭐行业实践
搁置状态....后面还是要看看Datafun的视频的
1. Flink 单点恢复和checkpoint优化
2. Flink 调度优化
⭐课程
这一块有什么用:主要目前企业开发用的还是FlinkSQL,这个课程作用不是很大了,下面的东西其实我也花费了2-3个月的时间,并且有些知识非常有可取之处,比如说Flink的异步IO,自定义触发器,自己实现一个算子或者状态,FlinkShuffle,状态的应用等
1. Flink WorldCount案例
2. Flink 任务调度原理 批/流处理系统的介绍
3. Flink 读取数据的方式
4. Flink Transform
5. Flink Sink
6. Flink 快速入门
7. Flink Source
8. Flink Sink
9. Flink Transform 一
10. Flink Transform 二
11. Flink 窗口概念
12. Flink 窗口函数
13. Flink Joins
14. Flink State
15. Flink ProcessingTime/侧流输出
16. Flink TTL
17. Flink Broadcast/QueryableKey
18. Flink 异步IO
19. Flink CheckPoint
20. Flink ExactlyOnce语义
21. Flink 实时日志采集架构
22. Flink 实时日志需求案例
23. Flink 实时业务需求案例
24. Flink 离线API
25. Flink TableAPI 一
26. Flink TableAPI 二
27. Flink 水位线
28. Flink shuffle
29. Flink 电商用户行为分析案例 一
30. Flink 电商用户行为分析案例 二
31. Flink 电商用户行为分析案例 三
