使用 Druid 来进行数据库迁移

说到 Druid,你第一个想到的是啥?


是这个?


还是这个?


又或者是这个?



反正今天我不说他们,今天要说的是阿里开源的 Druid 项目,利用其 SQL Parser 来进行数据库的迁移是一件体验很不错的事。

那现就开始吧,这次来实现 SQL 语句的翻译,来尝试将 Oracle 的建表语句翻译为 MySQL 的。

赶紧新建一个工程,具体怎么建的不多说了,然后加入对 Druid 的引用:

compile 'com.alibaba:druid:1.1.16'

在 Druid 内有标准的 AST(点击查看什么是 AST) 和各种 SQL 方言的解析支持,其中 Parser 和 各种 Statement 即是其关键所在。

那就开始写一些代码吧,我们有以下 Oracle 建表语句:

create table T_ITEM (
    process_session_id number CONSTRAINT pspk PRIMARY KEY,
    org_id NUMBER(19) DEFAULT 0,
    comp_id NUMBER(19) NOT NULL,
    item_id NUMBER(19) CONSTRAINT psuk UNIQUE,
    qty NUMBER(19,2),
    item_desc VARCHAR2(255),
    tisp TIMESTAMP(6) DEFAULT SYSDATE,
    create_by NUMBER(19),
    create_time TIMESTAMP(6),
    modi_by NUMBER(19),
    modi_time TIMESTAMP(6)
);

要将 SQL 语句解成 Statement,需要用到 Parser,如以上 Oracle 语句,则可以用以下代码来解:

val parser = OracleStatementParser(SQLSTR)
val stmt = parser.parseStatementList()[0] as OracleCreateTableStatement

需要注意的是,Druid 可以对整个 SQL 脚本文件进行解析,并根据内容生成多个 Statement,所以 parse 的结果是一个数组,这是正确的情况。而此处由于只有一个 create table,并不需要对其他内容作解析,因此直接拿了第 0 个元素,并且我们已经知道了该 Statement 的类型为 OracleCreateTableStatement

对于 Statement,通用的命名规则是 <数据库类型><语句类型>Statement,记住这个规则将很容易可以找到对应的 Statement 类。

然后就需要从这个 Statement 里拿到所需的信息,如表名和字段信息:

// 获取表名
val tableName = stmt.tableSource.name.simpleName
// 获取字段信息
val tableFields = stmt.tableElementList

这里的 tableFields 还需要进一步的解析,以获取字段的数据类型,以及各种约束,默认值等。

tableFields.forEach {
    it as SQLColumnDefinition
    // 获取字段名称
    it.name
    // 获取字段数据类型
    it.dataType
    // 获取字段的约束
    it.constraints
    // 获取字段的默认值
    it.defaultExpr
}

当然了,这里获取到的数据类型是 Oracle 的,它无法被 MySQL 识别,因此就需要对数据类型进行转换,好在 Druid 已经为我们提供了这样的函数:

val mysqlDataType = SQLTransformUtils.transformOracleToMySql(it.dataType)

这样就得到了一个作用于 MySQL 的数据类型。

最后,对于默认值,有一个地方需要注意的,就是 DEFAULT SYSDATE,在翻译的过程中,Druid 并不认识 Oracle 的各种函数,所以我们需要手动进行转换:

fun convertDefaultValue(type: String, def: String) =
    if (type.startsWith("datetime", ignoreCase = true) && def.equals("SYSDATE", ignoreCase = true)) {
        "NOW()"
    } else if (type.startsWith("timestamp", ignoreCase = true)) {
        "CURRENT_TIMESTAMP()"
    } else {
        def
    }

好了,那么准备工作都做好了,现在就可以写出转换的函数了,直接给完整代码:

fun convertCreateTable(o: OracleCreateTableStatement) =
    SQLUtils.formatMySql("create table ${o.tableSource.name.simpleName} (${o.tableElementList.toMySQLFieldDeclare()});")

private fun List<SQLTableElement>.toMySQLFieldDeclare() = joinToString(",") {
    it as SQLColumnDefinition
    val ct = SQLTransformUtils.transformOracleToMySql(it.dataType).toString()
    var str = "${it.name} $ct"
    if (it.constraints.isNotEmpty()) {
        it.constraints.forEach { c ->
            when (c) {
                is SQLColumnPrimaryKey -> str += " primary key"
                is SQLColumnUniqueKey -> str += " unique"
                is SQLNotNullConstraint -> str += " not null"
            }
        }
    }
    if (it.defaultExpr != null) str += " default ${convertDefaultValue(ct, it.defaultExpr.toString())}"
    str
}

现在就可以运行程序了,得到最终结果:

fun main(args: Array<String>) {
    val parser = OracleStatementParser(SQLSTR)
    val stmt = parser.parseStatementList()[0] as OracleCreateTableStatement
    println(convertCreateTable(stmt))
}

得到的结果如下:

CREATE TABLE T_ITEM (
    process_session_id decimal(38) PRIMARY KEY,
    org_id bigint DEFAULT 0,
    comp_id bigint NOT NULL,
    item_id bigint UNIQUE,
    qty decimal(19, 2),
    item_desc varchar(255),
    tisp datetime(6) DEFAULT NOW(),
    create_by bigint,
    create_time datetime(6),
    modi_by bigint,
    modi_time datetime(6)
);

把这个语句放进 MySQL 里执行,报告成功,即告转换完成。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,546评论 6 507
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,224评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,911评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,737评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,753评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,598评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,338评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,249评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,696评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,888评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,013评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,731评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,348评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,929评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,048评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,203评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,960评论 2 355