Flink窗口触发器

窗口触发器概念

窗口的触发器定义了窗口是何时被触发并同时决定触发行为(对窗口进行清理或者计算)。触发器确定窗口(由窗口分配程序形成)何时准备由窗口函数处理。每个WindowAssigner都带有一个默认触发器。
注意:窗口的触发在内部是设置定时器来实现的。

触发器相关类

triggers包


触发器相关类

Trigger抽象类


Trigger类

触发器接口有五种方法,允许触发器对不同的事件作出反应

onElement()添加到每个窗口的元素都会调用此方法。
onEventTime()当注册的事件时间计时器触发时,将调用此方法。
onProcessingTime()当注册的处理时间计时器触发时,将调用此方法。
onMerge()与有状态触发器相关,并在两个触发器对应的窗口合并时合并它们的状态,例如在使用会话窗口时。(目前没使用过,了解不多)
clear()执行删除相应窗口时所需的任何操作。(一般是删除定义的状态、定时器等)

TriggerContext接口(定义在Trigger类中),用于维持状态,注册定时器等:


TriggerContext.png
registerXXXTimeTimer:注册(处理/事件)时间定时器;
deleteXXXTimeTimer:删除(处理/事件)时间定时器;
getPartitionedState:从Flink状态存储终端获取状态;

TriggerResult枚举类,用于决定窗口在触发后的行为:


image.png
CONTINUE:不作任何处理;
FIRE_AND_PURGE:触发窗口计算并输出结果同时清理并释放窗口(该值只会被清理触发器PurgingTrigger使用);
FIRE:触发窗口计算并输出结果,但窗口并没有被释放并且数据仍然保留;
PURGE:不触发窗口计算,不输出结果,只清除窗口中的所有数据并释放窗口

Flink内置的触发器:

EventTimeTrigger:基于事件时间和watermark机制来对窗口进行触发计算。
ProcessingTimeTrigger:基于处理时间触发。
CountTrigger:窗口元素数超过预先给定的限制值的话会触发计算。
PurgingTrigger作为其它trigger的参数,将其转化为一个purging触发器。

源码剖析

Trigger有以下主要方法:

// 先去注册一个ProcessingTime定时器,触发时间点就是当前窗口的最大时间戳;
//触发结果就是不做任何操作。
public abstract TriggerResult onElement(T element, long timestamp, W window, TriggerContext ctx) throws Exception;

// ProcessingTime到来之时调用
public abstract TriggerResult onProcessingTime(long time, W window, TriggerContext ctx) throws Exception;

// EventTime到来之时调用
public abstract TriggerResult onEventTime(long time, W window, TriggerContext ctx) throws Exception;
  1. EventTimeTrigger
    当窗口的最大时间戳小于等于水位线立即触发窗口计算;否则的话就去注册EventTime定时器,结果就是不做任何操作。
// EventTimeTrigger.java

// 针对每个元素触发
@Override
public TriggerResult onElement(Object element, long timestamp, TimeWindow window, TriggerContext ctx) throws Exception {
    if (window.maxTimestamp() <= ctx.getCurrentWatermark()) {
        // if the watermark is already past the window fire immediately
        // window的最大时间戳比watermark小,该window需要立刻进行计算
        return TriggerResult.FIRE;
    } else {
        // 注册一个event time事件,当watermark超过window.maxTimestamp时,会调用onEventTime方法
        ctx.registerEventTimeTimer(window.maxTimestamp());
        return TriggerResult.CONTINUE;
    }
}

@Override
public TriggerResult onEventTime(long time, TimeWindow window, TriggerContext ctx) {
    // 当时间等于窗口最大时间戳,则触发对窗口进行计算,否则不做任何操作
    return time == window.maxTimestamp() ?
        TriggerResult.FIRE :
        TriggerResult.CONTINUE;
}

@Override
public TriggerResult onProcessingTime(long time, TimeWindow window, TriggerContext ctx) throws Exception {
    // 对于processing time,不做任何处理
    return TriggerResult.CONTINUE;
}
  1. ProcessingTimeTrigger
    依照ProcessingTime判断是否触发计算。源码如下:
@Override
public TriggerResult onElement(Object element, long timestamp, TimeWindow window, TriggerContext ctx) {
    // 和eventtime的类似,注册processing time定时器
    ctx.registerProcessingTimeTimer(window.maxTimestamp());
    return TriggerResult.CONTINUE;
}

@Override
public TriggerResult onEventTime(long time, TimeWindow window, TriggerContext ctx) throws Exception {
    return TriggerResult.CONTINUE;
}

@Override
public TriggerResult onProcessingTime(long time, TimeWindow window, TriggerContext ctx) {
    // 返回FIRE,执行计算
    return TriggerResult.FIRE;
}
  1. CountTrigger
    每maxCount个元素触发一次计算。
@Override
public TriggerResult onElement(Object element, long timestamp, W window, TriggerContext ctx) throws Exception {
    // 获取目前的count状态值
    ReducingState<Long> count = ctx.getPartitionedState(stateDesc);
    count.add(1L);
    // 如果count值大于等于maxCount,清空状态值并且触发计算,否则不进行操作
    if (count.get() >= maxCount) {
        count.clear();
        return TriggerResult.FIRE;
    }
    return TriggerResult.CONTINUE;
}

@Override
public TriggerResult onEventTime(long time, W window, TriggerContext ctx) {
    // 不进行操作
    return TriggerResult.CONTINUE;
}

@Override
public TriggerResult onProcessingTime(long time, W window, TriggerContext ctx) throws Exception {
    // 不进行操作
    return TriggerResult.CONTINUE;
}

  1. PurgingTrigger
    PurgingTrigger是一个trigger的包装类。具体作用为:如果被包装的trigger触发返回FIRE,则PurgingTrigger将返回修改为FIRE_AND_PURGE,其他的返回值不做处理。

  2. DeltaTrigger
    DeltaTrigger具有一个DeltaFunction,该函数的逻辑需要用户自己定义。该函数比较上一次触发计算的元素,和目前到来的元素。比较结果为一个double类型阈值。如果阈值超过DeltaTrigger配置的阈值,会返回TriggerResult.FIRE

public TriggerResult onElement(T element, long timestamp, W window, TriggerContext ctx) throws Exception {
    // 获取上个元素的储存状态
    ValueState<T> lastElementState = ctx.getPartitionedState(stateDesc);
    // 确保存入第一个到来的元素
    if (lastElementState.value() == null) {
        lastElementState.update(element);
        return TriggerResult.CONTINUE;
    }
    if (deltaFunction.getDelta(lastElementState.value(), element) > this.threshold) {
        // 重点:只要触发条件满足的时候,才会更新lastElementState,使用新的element替代上一个element
        lastElementState.update(element);
        // 触发计算
        return TriggerResult.FIRE;
    }
    return TriggerResult.CONTINUE;
}
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350

推荐阅读更多精彩内容

  • 1.前言 窗口的触发器定义了窗口是何时被触发并同时决定触发行为(对窗口进行清理或者计算)。注意:窗口的触发在内部是...
    LZhan阅读 4,512评论 1 2
  • 原文连接 https://ci.apache.org/projects/flink/flink-docs-rele...
    Alex90阅读 3,453评论 0 5
  •   JavaScript 与 HTML 之间的交互是通过事件实现的。   事件,就是文档或浏览器窗口中发生的一些特...
    霜天晓阅读 3,477评论 1 11
  • 摘要 Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,...
    尼小摩阅读 5,085评论 0 13
  • 介绍 window(窗口)是Flink流处理中非常重要的概念,本篇我们来对窗口相关的概念以及关联的实现进行解析。本...
    苗栋栋阅读 935评论 0 1