2019-12-14 kettle教程---kettle作业调度,根据更新时间增量更新

本文接上一篇,只写到读取日志。在平时工作当中,会遇到这种情况,而且很常见。比如:增量抽取(每隔2个小时抽取截至到上次抽取时间的记录)

本文中会用到作业,先来熟悉下作业的概念

简单地说,一个转换就是一个ETL的过程,而作业则是多个转换、作业的集合,在作业中可以对转换或作业进行调度

实际情况中,每次抽取完毕,会写入日志表,记录本次抽取时间,下次抽取会根据本次抽取的成功时间,开始获取数据进行抽取。

我们可以使用作业来完成调度任务,需要用到调度控件【start】和【成功】这两个。

【start】可以控制执行频率,控制什么时间执行,间隔多长时间执行都可以进行配置,还是比较方便的。

下面需要这5个控件来完成,我们逐一看下每个控件是怎么使用的。

1)【start】控件。

如下图,该控件可以配置定时执行时间和时间间隔,是否重复等。为了实时抽取,我们把重复给勾选上,类型选中时间间隔,以分钟计算,每60分钟执行一次作业。

2)【转换1】-获取student表的更新时间,我们点击右键,进入转换的编辑页面

点击获取student表输入控件,进入如下界面,填写相应的sql-具体的例子见附件

点击【设置变量】,将表输入的结果放入变量中。

3)【转换2】-student表作业,我们点击右键,进入转换的编辑页面,设置相应的表输入和表输出项,如下图

4)【转换3】-写同步日志,我们点击右键,进入转换的编辑页面,此处包含一个【sql脚本】,写入sql后点击保存

转换完成。

效果每次隔1个小时抽取,写入日志表。下次抽取日志表之后的数据。

欢迎关注公众号,学习kettle、数据库和开发方面的知识

获取例子源码,扫描下方二维码加关注

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Kettle 1.Kettle的介绍: Kettle是一款国外开源...
    有你就行阅读 794评论 0 1
  • 专业考题类型管理运行工作负责人一般作业考题内容选项A选项B选项C选项D选项E选项F正确答案 变电单选GYSZ本规程...
    小白兔去钓鱼阅读 10,326评论 0 13
  • ORA-00001: 违反唯一约束条件 (.) 错误说明:当在唯一索引所对应的列上键入重复值时,会触发此异常。 O...
    我想起个好名字阅读 5,879评论 0 9
  • Swift1> Swift和OC的区别1.1> Swift没有地址/指针的概念1.2> 泛型1.3> 类型严谨 对...
    cosWriter阅读 11,569评论 1 32
  • 炎热厦门周一抵、鼓浪与你沙滩嬉; 日光岩顶映全景、中山步街一并去。 勇气直达普陀顶、雨中厦大难忘记; 环岛公交非自...
    Cinko阅读 220评论 0 17

友情链接更多精彩内容