一.kettle安装部署
需要软件:jdk、kettle安装包
1.kettle安装包下载后解压可以直接使用
2.配置jdk环境变量(本机和linux系统都需要安装)
二.配置kettle任务
1.本机打开kettle,建立数据库连接
填写需要连接的数据库地址、端口、账号还有密码,点击测试连接,成功如下图:
2.配置转换任务,在表输入和表输出中配置基本信息:
3.配置作业,在转换过程中添加刚才的任务,transformation中如果是绝对路径,替换成如下地址(${Internal.Entry.Current.Directory},转换和作业放在同一目录下)
4.本地测试抽取数据是否成功,成功后将保存的转换和作业放在linux服务器上
5.linux中执行测试作业的语句
kitchen.sh -file=/data/kettle/data-integration/test.kjb
6.定时任务编辑shell脚本,vi test.sh
添加如下内容:
#!/bin/bash
export JAVA_HOME=/usr/java/jdk1.8.0_191
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
/data/kettle/data-integration/kitchen.sh -file=/data/kettle/data-integration/test.kjb
7.设置定时
定时任务
crontab -e 进入编辑状态(命令同vi)
每分钟执行一次:*/5 * * * * /data/kettle/data-integration/testfile.sh
每天3点执行 00 03 * * * /data/kettle/data-integration/testfile.sh
查看crontab服务状态
service crond status
配置好重新执行,一定要重新启动后才会生效
systemctl restart crond.service