java调用kettle文件,根据环境修改数据源

在使用kettle可视化工具进行编辑生成kettle文件时,只能指定一个数据源, 并且我们在开发到发布过程中最少有三套环境,dev, test, prod. 如果按照kettle只能指定一个数据源,对应的kjb/ktr文件就得要三套,首先不说麻烦, 更容易导致出错,测试发到生产的可能.所以我们要解决这个痛点, 就是可以根据我们配置三套环境的数据源,然后根据环境变量自己去更换数据源.

1.踩坑

在查询资料((#.#)其实就是百度)的过程中,找到如下方法,(以kjb文件为例):
注意该方法为错误方法
踩坑点:在将kjb的路径传到JobMeta里初始化时候就kettle就开始连接数据库了,导致我在测试环境一直报数据库连接错误(作者公司test/dev环境是隔开的本地是没办法连接测试环境)

public static Job executeKjb(String kjbPath, Map<String, String> param) {
        log.info("execute krt, ktrPath={}, param={}", kjbPath, param);
        Job job;
        try {

            KettleEnvironment.init();
            //初始化job路径
            JobMeta jobMeta = new JobMeta(kjbPath, null);
            //替换db链接信息(这里主要设置kjb文件里面的数据库连接信息)
           setDBLinkInfo(KETTLE_DB_PARAM_LIST, jobMeta.getDatabases());
            job = new Job(null, jobMeta);
            //krt文件更换连接信息(修改kjb引用ktr文件里的数据库连接信息)
           Map<JobEntryCopy, JobEntryTrans> activeJobEntryTransformations = job.getActiveJobEntryTransformations();
           activeJobEntryTransformations.entrySet().forEach(jobEntryCopyJobEntryTransEntry -> {
               DatabaseMeta[] connections = jobEntryCopyJobEntryTransEntry.getValue().getUsedDatabaseConnections();
               setDBLinkInfo(KETTLE_DB_PARAM_LIST, Arrays.asList(connections));
            });
            //初始化job参数，脚本中获取参数值：${variableName}
            if (!CollectionUtils.isEmpty(param)) {
                job.injectVariables(param);
            }
            job.start();
            job.waitUntilFinished();
        } catch (Exception e) {
            log.error("kbj文件执行失败", e);
            throw new ServiceException(".kjb文件执行失败", e);
        }
        return job;
    }

//dbParams自己配置的各环境的数据库连接信息
private static void setDBLinkInfo(List<KettleDBParams.KettleDBParam> dbParams, List<DatabaseMeta> databases) {
        //设置DB参数
        if (!CollectionUtils.isEmpty(dbParams)) {
            Map<String, KettleDBParams.KettleDBParam> connNameGroupMap = dbParams.stream()
                    .collect(Collectors.toMap(KettleDBParams.KettleDBParam::getConnName, e -> e, (o, o2) -> o));
            for (DatabaseMeta databaseMeta : databases) {
                KettleDBParams.KettleDBParam dbParam = connNameGroupMap.get(databaseMeta.getName());
                if (dbParam == null) {
                    throw new ServiceException(String.format("执行.ktr失败, 未发现数据库连接【%s】", dbParam.getConnName()));
                }
                log.info("kettle数据库使用的驱动为:{}", databaseMeta.getDriverClass());
                //连接地址
                databaseMeta.setHostname(dbParam.getHost());
                //数据库名称
                databaseMeta.setDBName(dbParam.getDbName());
                //端口
                databaseMeta.setDBPort(dbParam.getPort());
                //用户
                databaseMeta.setUsername(dbParam.getUsername());
                //密码
                databaseMeta.setPassword(dbParam.getPassword());
            }
        } else {
            throw new ServiceException("需要替换的数据库参数为空!!!");
        }
    }

2.正确修改方式(可能是之一)

作者用的是JNDI方式连接数据源

图片.png

配置文件:
kettle解压目录/simple-jndi/jdbc.properties
以下是配置文件内原本内容
/前面就是JNDI名称,上图红框内容, 按照自己需要配置进行配置即可

SampleData/type=javax.sql.DataSource
SampleData/driver=org.h2.Driver
SampleData/url=jdbc:h2:file:samples/db/sampledb;IFEXISTS=TRUE
SampleData/user=PENTAHO_USER
SampleData/password=PASSWORD
SampleDataAdmin/type=javax.sql.DataSource
SampleDataAdmin/driver=org.h2.Driver
SampleDataAdmin/url=jdbc:h2:file:samples/db/sampledb;IFEXISTS=TRUE
SampleDataAdmin/user=PENTAHO_ADMIN
SampleDataAdmin/password=PASSWORD
Quartz/type=javax.sql.DataSource
Quartz/driver=org.hsqldb.jdbcDriver
Quartz/url=jdbc:hsqldb:hsql://localhost/quartz
Quartz/user=pentaho_user
Quartz/password=password
Hibernate/type=javax.sql.DataSource
Hibernate/driver=org.hsqldb.jdbcDriver
Hibernate/url=jdbc:hsqldb:hsql://localhost/hibernate
Hibernate/user=hibuser
Hibernate/password=password
Shark/type=javax.sql.DataSource
Shark/driver=org.hsqldb.jdbcDriver
Shark/url=jdbc:hsqldb:hsql://localhost/shark
Shark/user=sa
Shark/password=
PDI_Operations_Mart/type=javax.sql.DataSource
PDI_Operations_Mart/driver=org.postgresql.Driver
PDI_Operations_Mart/url=jdbc:postgresql://localhost:5432/hibernate?searchpath=pentaho_operations_mart
PDI_Operations_Mart/user=hibuser
PDI_Operations_Mart/password=password
live_logging_info/type=javax.sql.DataSource
live_logging_info/driver=org.postgresql.Driver
live_logging_info/url=jdbc:postgresql://localhost:5432/hibernate?searchpath=pentaho_dilogs
live_logging_info/user=hibuser
live_logging_info/password=password

3.正确方式-java项目中运用

我们只需要根据dev/test/prod各个环境去读取相应的jdbc.properties文件即可
然后我们在知道kettle是如何读取到jdbc.properties文件,
源码如下:

//在init的时候就会设置读取
KettleEnvironment.init();
↓ 一直点下去init方法
public static void init(List<PluginTypeInterface> pluginClasses, boolean simpleJndi) throws KettleException {
        SettableFuture ready;
        if (initialized.compareAndSet((Object)null, ready = SettableFuture.create())) {
            System.setProperties(ConcurrentMapProperties.convertProperties(System.getProperties()));

            try {
                if (!KettleClientEnvironment.isInitialized()) {
                    KettleClientEnvironment.init();
                }
                //这里是加载JNDI方式的方法
                if (simpleJndi) {
                    JndiUtil.initJNDI();
                }

                pluginClasses.forEach(PluginRegistry::addPluginType);
                PluginRegistry.init();
                KettleVariablesList.init();
                initLifecycleListeners();
                ready.set(true);
            } catch (Throwable var5) {
                ready.setException(var5);
                throw var5 instanceof KettleException ? (KettleException)var5 : new KettleException(var5);
            }
        } else {
            ready = (SettableFuture)initialized.get();

            try {
                ready.get();
            } catch (Throwable var4) {
                throw new KettleException(var4);
            }
        }

    }
↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓点进 JndiUtil.initJNDI();
 public static void initJNDI() throws KettleException {
//加载jdbc.properties的路径是从Const.JNDI_DIRECTORY静态变量里获取, 如果为空就加载kettle文件内数据源
        String path = Const.JNDI_DIRECTORY;
        if (path == null || path.equals("")) {
            try {
                File file = new File("simple-jndi");
                path = file.getCanonicalPath();
            } catch (Exception var2) {
                throw new KettleException("Error initializing JNDI", var2);
            }

            Const.JNDI_DIRECTORY = path;
        }

        System.setProperty("java.naming.factory.initial", "org.osjava.sj.SimpleContextFactory");
        System.setProperty("org.osjava.sj.root", path);
        System.setProperty("org.osjava.sj.delimiter", "/");
    }

那我们的思路就来了, 我们在调用kettle文件之前赋值给Const.JNDI_DIRECTORY静态变量我们自己的路径就好了,那么下面就是我自己的加载方式
注意jdbc.properties文件名不要改, 应该默认读取的,作者没有往深里看

import com.xxxx.actuator.exception.ServiceException;
import lombok.extern.slf4j.Slf4j;
import org.pentaho.di.core.Const;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;

import javax.annotation.PostConstruct;
import java.io.File;

/**
 * 初始化kettle读取数据源配置文件地址
 * 我是把jdbc.properties配置放到服务器上的,springboot打成jar读取文件太麻烦了,
 *以下只是给一个启发, 具体如何读取按照自己项目需求.
 */
@Component
@Slf4j
public class JndiInit {
    @Value("${spring.profiles}")
    private String evn;

    @PostConstruct
    public void init() {
        try {
            String fileSeparator = System.getProperty("file.separator");
            //开发环境获取根目录下文件路径
            if ("dev".equals(evn)) {
                Const.JNDI_DIRECTORY = new File("").getCanonicalPath() + fileSeparator + "jndi" + fileSeparator + evn;

            } else if ("test".equals(evn) || "prod".equals(evn)) {
                //测试/生产环境
                Const.JNDI_DIRECTORY = "/home/service/app/executor/tmp" + fileSeparator + "jndi" + fileSeparator + evn;
            }
        } catch (Exception e) {
            throw new ServiceException("初始化jndi地址失败", e);
        }
    }
}
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 213,616评论 6赞 492
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 91,020评论 3赞 387
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 159,078评论 0赞 349
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 57,040评论 1赞 285
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 66,154评论 6赞 385
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 50,265评论 1赞 292
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,298评论 3赞 412
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,072评论 0赞 268
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,491评论 1赞 306
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,795评论 2赞 328
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,970评论 1赞 341
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,654评论 4赞 337
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,272评论 3赞 318
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,985评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,223评论 1赞 267
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,815评论 2赞 365
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,852评论 2赞 351