02-flink基本架构
flink基本组件栈
API&Libraries
同时提供了流计算和批计算的接口,同时在此基础上抽象出不同的应用类型的组件库
Runtime核心层
主要负责对上层不同接口提供基础服务,也是Flink分布式计算框架的核心实现层,支持分布式Stream的执行、jobGraph到ExecutionGraph的映射转换、任务调度等。将DataStream和DataSet转成统一的可以执行的Task Operator,达到流式引擎下同时处理批处理和流式计算的目的
物理部署层
flink的部署模式
flink基本架构
flink整个系统主要由两个组件组成,分别为JobManager和TaskManager,Flink结构也遵循Master-Slave架构设计原则,JobManager为Master节点,TashManager为Worker(Slave)节点。
所有组件之间的通信是借助Akka Framework。
client
客户端负责将任务提交到集群,与JobManager构建Akka连接,然后将任务提交到JobManager,通过和JobManager之间进行交互获取任务执行状态。
JobManager
负责整个Flink集群任务的调度以及资源的管理,从客户端中获取提交的应用,然后根据集群中的TaskManager上TaskSlot的使用情况,为提交的应用分配相应的TaskSlots资源并命令TaskManager启动从客户端中获取的应用。
TaskManager
客户端将通过编写好的flink应用编译打包,提交到jobManager,然后JobManager会根据已经注册在JobManager中的TaskManager的资源情况,将任务分配给有资源的TaskManger节点,然后启动并运行任务。
flink的任务运行其实是采用多线程的方式,这和MapReduce多JVM进程的方式有很大区别;flink能够极大提高CPU使用率,在多个任务和task之间通过taskSlot方式共享系统资源,每个TaskManager中通过管理多个TaskSlot资源池进行对资源有效管理。