Kettle应用之插入更新组件详解

Kettle插入/更新的组件在日常的抽取任务中使用频率相当的高,自己对这部分的了解也仅限于输出中的“插入/更新”。最近公司正在开展BI数据仓库建设,Kettle中输出部分的“插入/更新”和数据仓库菜单中的“维度查询/更新”存在使用上的差异,因此下面主要介绍这两组件应用的情况。

1、输出菜单——插入/更新

如下图,把该组件划分为三个部分,第一部分为组件属性定义,第二部分为Keys,第三部分为Fields。

插入/更新组件

第一部分:属性定义

1、目标模式:即Schema,对应表的所属拥有对象

2、不执行任何更新:如果勾选,则只根据查询匹配结果进行插入操作;未勾选,则执行更新和插入操作;

第二部分:Keys

该部分为查询匹配条件,需根据具体业务场景进行设置定义。其中,表字段即属性定义中的目标表;流里的字段X即整个Transactions数据流中最后输出的字段;

只有当Keys部分中的所有匹配结果为True时,才算是匹配成功;如果其中一个或多个匹配条件为False时,则为匹配失败。

第三部分:Fields

该部分为包含两个作用:1、匹配表字段与流字段;2、判断是更新表字段还是插入表字段;如果“不行执行更新”勾选了,则均执行插入操作,Keys域无意义。当未勾选时,包含以下情况:

1、Keys部分判断结果为False

此时不管Fields域中“更新”字段是Y or N,都执行插入操作。

2、Keys部分判断结果为True

(1)当Fields域中所有字段匹配相同时,则不做更新、插入

(2)当Fields域中存在字段匹配不一致时,则会对字段继续进行更新。如果字段“更新”属性为Y则更新,为N则不更新。

综上,该组件基本可以应对所有数据的“插入/更新”操作。

2、数据仓库菜单——维度查询/更新

该组件主要涉及数据仓库中的缓慢变化维的概念。缓慢变化维,是由于维度在实际业务场景中并不是静态的,只是会随着时间发生缓慢的变化,相比于事实表或者业务表,主要区别在于维度表变化慢,频率低,特定场景下需要记录数据变化的过程。具体的说明及应用场景,可通过各类搜索引擎查找,资料较为丰富。

如下图,维度查询/更新组件可分为四个部分,第一部分为组件属性定义,第二部分为keys和Fields,第三部分同为数据记录的属性定义。

维度查询/更新

第一部分:属性定义

1、更新维度:如果勾选,则进行插入/更新操作;如果未勾选,则该组件仅作查询用途,查询条件:a、keys域中的对比字段;b、第三部分记录域中时间流查询条件,开始日期<=stream日期字段<=截止日期字段

2、使用缓存:使用缓存目的为了提升插入或更新的效率,该选项和“缓存行数”同步使用

第二部分:Keys域和Fields域

此部分尽讨论组件属性“更新维度”勾选的情况,未勾选的情况已上面阐述。

在第二部分,Keys域为查询条件,Fields域为更新插入区域。

更新域

1、Keys域匹配结果为False

此时无论Fields中更新属性的值如何,都执行插入操作;

2、Keys域匹配结果为True

 (a)Fields字段中存在不同项,且更新属性为插入选项,则插入一条新数据行记录

 (b)Fields字段中存在不同项,且更新属性为‘punch through',则所有version版本的数据记录都会发生更新

 (c)Fields字段中存在不同项,且更新属性为'update',则最后一个version记录的属性发生更新

 (d)Fields字段中所有都相同,则不发生变化。

第三部分:记录属性域

1、代理关键字段:由于会记录数据变化的历史过程信息,因此需在表设计初期定义代理键

2、version字段:每次keys相同的记录发生新增时,version字段自动+1,最大的verison为最新的记录

3、stream日期字段:记录数据流的日期范围,通常为设置为开始日期字段值即可。

4、开始日期字段:数据流导入的开始日期

5、结束日期字段:数据流导入结束日期

综上,如使用“维度查询/更新”组件最好的应用场景是维度表需要记录历史变化数据时,并非所有维度表都需要使用该组件。同时,在决定使用“维度查询/更新”组件时,至少需定义四个字段:KEYS_SEQ_ID(代理键)、VERSION_NO(版本号)、BEGIN_DATE(开始日期)、END_DATE(结束日期)。正常非特殊需求时,使用“插入/更新”组件即可。

但是在以上的介绍过程中可以发现,在该组件中并没有时间戳的利用,即Keys域在做比较时,是把Transaction流中的数据和维度表中的所有数据进行核对,需考虑在对比核对中可能存在的性能问题。

以上,如有说明错误或不明白之处,烦请指出。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,542评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,596评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,021评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,682评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,792评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,985评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,107评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,845评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,299评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,612评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,747评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,441评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,072评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,828评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,069评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,545评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,658评论 2 350