1. EventTime的引入 在Flink的流式处理中,绝大部分的业务都会使用eventTime,一般只在eventTime无法使用时,才会被...
1. Time 在Flink的流式处理中,会涉及到时间的不同概念,如下图所示: Event Time:是事件创建的时间。它通常由事件中的时间戳描...
1. Flink 运行模型 以上为Flink的运行模型,Flink的程序主要由三部分构成,分别为Source、Transformation、Si...
1. 任务提交流程 Flink任务提交后,Client向HDFS上传Flink的Jar包和配置,之后向Yarn ResourceManager提...
JobManager与TaskManager Flink运行时包含了两种类型的处理器: JobManager处理器:也称之为Master,用于协...
流处理技术的演变 在开源世界里,Apache Storm项目是流处理的先锋。Storm最早由Nathan Marz和创业公司BackType的一...
分布式运行时环境 1. 任务与算子链 分布式计算中,Flink会将算子(operator) 的子task链式组成tasks,每个task由一个线...
Flink 数据流编程模型 1. 抽象级别 Flink 提供了不同级别的抽象,以开发流或批处理作业。 最底层级的抽象仅仅提供了有状态流,它将通过...
Flink 开发环境部署和配置 Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目,代码开源在 github 上,并使...
文集作者