Kettle插入/更新的组件在日常的抽取任务中使用频率相当的高,自己对这部分的了解也仅限于输出中的“插入/更新”。最近公司正在开展BI数据仓库建设,Kettle中输出部分的“插入/更新”和数据仓库菜单中的“维度查询/更新”存在使用上的差异,因此下面主要介绍这两组件应用的情况。
1、输出菜单——插入/更新
如下图,把该组件划分为三个部分,第一部分为组件属性定义,第二部分为Keys,第三部分为Fields。
第一部分:属性定义
1、目标模式:即Schema,对应表的所属拥有对象
2、不执行任何更新:如果勾选,则只根据查询匹配结果进行插入操作;未勾选,则执行更新和插入操作;
第二部分:Keys
该部分为查询匹配条件,需根据具体业务场景进行设置定义。其中,表字段即属性定义中的目标表;流里的字段X即整个Transactions数据流中最后输出的字段;
只有当Keys部分中的所有匹配结果为True时,才算是匹配成功;如果其中一个或多个匹配条件为False时,则为匹配失败。
第三部分:Fields
该部分为包含两个作用:1、匹配表字段与流字段;2、判断是更新表字段还是插入表字段;如果“不行执行更新”勾选了,则均执行插入操作,Keys域无意义。当未勾选时,包含以下情况:
1、Keys部分判断结果为False
此时不管Fields域中“更新”字段是Y or N,都执行插入操作。
2、Keys部分判断结果为True
(1)当Fields域中所有字段匹配相同时,则不做更新、插入
(2)当Fields域中存在字段匹配不一致时,则会对字段继续进行更新。如果字段“更新”属性为Y则更新,为N则不更新。
综上,该组件基本可以应对所有数据的“插入/更新”操作。
2、数据仓库菜单——维度查询/更新
该组件主要涉及数据仓库中的缓慢变化维的概念。缓慢变化维,是由于维度在实际业务场景中并不是静态的,只是会随着时间发生缓慢的变化,相比于事实表或者业务表,主要区别在于维度表变化慢,频率低,特定场景下需要记录数据变化的过程。具体的说明及应用场景,可通过各类搜索引擎查找,资料较为丰富。
如下图,维度查询/更新组件可分为四个部分,第一部分为组件属性定义,第二部分为keys和Fields,第三部分同为数据记录的属性定义。
第一部分:属性定义
1、更新维度:如果勾选,则进行插入/更新操作;如果未勾选,则该组件仅作查询用途,查询条件:a、keys域中的对比字段;b、第三部分记录域中时间流查询条件,开始日期<=stream日期字段<=截止日期字段
2、使用缓存:使用缓存目的为了提升插入或更新的效率,该选项和“缓存行数”同步使用
第二部分:Keys域和Fields域
此部分尽讨论组件属性“更新维度”勾选的情况,未勾选的情况已上面阐述。
在第二部分,Keys域为查询条件,Fields域为更新插入区域。
1、Keys域匹配结果为False
此时无论Fields中更新属性的值如何,都执行插入操作;
2、Keys域匹配结果为True
(a)Fields字段中存在不同项,且更新属性为插入选项,则插入一条新数据行记录
(b)Fields字段中存在不同项,且更新属性为‘punch through',则所有version版本的数据记录都会发生更新
(c)Fields字段中存在不同项,且更新属性为'update',则最后一个version记录的属性发生更新
(d)Fields字段中所有都相同,则不发生变化。
第三部分:记录属性域
1、代理关键字段:由于会记录数据变化的历史过程信息,因此需在表设计初期定义代理键
2、version字段:每次keys相同的记录发生新增时,version字段自动+1,最大的verison为最新的记录
3、stream日期字段:记录数据流的日期范围,通常为设置为开始日期字段值即可。
4、开始日期字段:数据流导入的开始日期
5、结束日期字段:数据流导入结束日期
综上,如使用“维度查询/更新”组件最好的应用场景是维度表需要记录历史变化数据时,并非所有维度表都需要使用该组件。同时,在决定使用“维度查询/更新”组件时,至少需定义四个字段:KEYS_SEQ_ID(代理键)、VERSION_NO(版本号)、BEGIN_DATE(开始日期)、END_DATE(结束日期)。正常非特殊需求时,使用“插入/更新”组件即可。
但是在以上的介绍过程中可以发现,在该组件中并没有时间戳的利用,即Keys域在做比较时,是把Transaction流中的数据和维度表中的所有数据进行核对,需考虑在对比核对中可能存在的性能问题。
以上,如有说明错误或不明白之处,烦请指出。