Rex_2013

前言 Flink的检查点和恢复机制定期的会保存应用程序状态的一致性检查点。在故障的情况下，应用程序的状态将会从最近一次完成的检查点恢复，并继续处理。尽管如此，可以使用检查点来...

LittleMagic

前言 在我们的日常工作中，HBase主要作为KV Store来使用，撑起数据仓库APP层的半边天，为后台和客户端提供高效的存取服务。另外，它也是我们采用的OLAP引擎Kyli...

LittleMagic

前言 Sunday night，继续超短文模式（希望下周就可以不这么划水了hhhh Kafka是我们日常的流处理任务中最为常用的数据源之一。随着数据类型和数据量的增大，难免要...

LittleMagic

前言 长久以来，在YARN集群中部署Flink作业有两种模式，即Session Mode和Per-Job Mode，而在Flink 1.11版本中，又引入了第三种全新的模式：...

LittleMagic

Data Enrichment 在流式处理作业（特别是实时数仓ETL作业）中，我们的数据流可以视为无界事实表，其中往往缺乏一些维度信息。例如，对于埋点日志流而言，为了减少传输...

LittleMagic

前言 今天事情又比较多，写得言简意赅一些，看官勿怪。 Flink和ClickHouse分别是实时计算和（近实时）OLAP领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在...

Rex_2013

1.Flink 运行时的角色 Flink系统架构中包含了两个角色，分别是JobManager和TaskManager，是一个典型的Master-Slave架构。JobMana...