kettle在linux上的运行方法

一.kettle安装部署

需要软件:jdk、kettle安装包

1.kettle安装包下载后解压可以直接使用

2.配置jdk环境变量(本机和linux系统都需要安装)

二.配置kettle任务

1.本机打开kettle,建立数据库连接

填写需要连接的数据库地址、端口、账号还有密码,点击测试连接,成功如下图:

2.配置转换任务,在表输入和表输出中配置基本信息:


3.配置作业,在转换过程中添加刚才的任务,transformation中如果是绝对路径,替换成如下地址(${Internal.Entry.Current.Directory},转换和作业放在同一目录下)

4.本地测试抽取数据是否成功,成功后将保存的转换和作业放在linux服务器上

5.linux中执行测试作业的语句

kitchen.sh -file=/data/kettle/data-integration/test.kjb

6.定时任务编辑shell脚本,vi test.sh

添加如下内容:

#!/bin/bash

export JAVA_HOME=/usr/java/jdk1.8.0_191

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

/data/kettle/data-integration/kitchen.sh -file=/data/kettle/data-integration/test.kjb



7.设置定时

定时任务

crontab -e  进入编辑状态(命令同vi)

每分钟执行一次:*/5 * * * * /data/kettle/data-integration/testfile.sh

每天3点执行 00 03 * * * /data/kettle/data-integration/testfile.sh

查看crontab服务状态

service crond status

配置好重新执行,一定要重新启动后才会生效

  systemctl restart crond.service

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容