开发同事有这样的一个场景需求:测试环境数据库中维护了比较全面的表字段的注释,想将测试库中所有字段注释同步到生产环境相应的表中,本篇文档记录一下实施过程。
首先,分析一下现状,经过整理发现测试环境与生产环境表数量、表名称、字段一致性情况大致相同,存在少许差异(测试环境多表,少表,同表不同字段等情形)。因此后期执行语句时,要把这些不同之处找出来。
第二步,要想向生产环境同步字段注释,本质是要形成一系列的alter table语句,然后在生产环境执行。因此我首先编写了拼装语句:
SELECT
CONCAT('alter table ','`',TABLE_NAME,'`',' MODIFY COLUMN ','`',COLUMN_NAME,'`',' ',COLUMN_TYPE,' COMMENT ','\'',COLUMN_COMMENT,'\'',';')
FROM
information_schema.COLUMNS
WHERE
TABLE_SCHEMA = 'order';
但是结果展示如下:
alter table `after_sale_file` MODIFY COLUMN `business_id` bigint COMMENT '业务id';
alter table `after_sale_file` MODIFY COLUMN `create_name` varchar(100) COMMENT '创建人名称';
alter table `after_sale_file` MODIFY COLUMN `create_time` varchar(20) COMMENT '创建时间';
alter table `after_sale_file` MODIFY COLUMN `creater` varchar(50) COMMENT '创建人';
......
这里出现个问题,这样形成的结果,对一张表中每个字段都要执行一次语句,不科学!因此改造拼接语句,每张表只形成一个alter table语句,经过不断努力试错,最终语句如下:
SELECT
CONCAT(
'ALTER TABLE `',
TABLE_NAME,
'` ',
GROUP_CONCAT(
'MODIFY COLUMN `',
COLUMN_NAME,
'` ',
COLUMN_TYPE,
' COMMENT \'',
COLUMN_COMMENT,
'\'' SEPARATOR ', '
),
';'
) AS alter_statement
FROM
information_schema.COLUMNS
WHERE
TABLE_SCHEMA = 'order'
GROUP BY
TABLE_NAME;
结果展示如下:
ALTER TABLE `after_sale_file` MODIFY COLUMN `business_id` bigint COMMENT '业务id', MODIFY COLUMN `create_name` varchar(100) COMMENT '创建人名称', MODIFY COLUMN `create_time` varchar(20) COMMENT '创建时间', MODIFY COLUMN `creater` varchar(50) COMMENT '创建人', MODIFY COLUMN `del_flag` int COMMENT '逻辑删除;', MODIFY COLUMN `es_sync_time` varchar(20) COMMENT 'ES同步时间', MODIFY COLUMN `file_type` varchar(50) COMMENT '文件类型', MODIFY COLUMN `file_url` varchar(255) COMMENT '文件url', MODIFY COLUMN `old_id` bigint COMMENT '旧系统-主键id', MODIFY COLUMN `ope_name` varchar(100) COMMENT '操作人名称', MODIFY COLUMN `ope_time` varchar(20) COMMENT '操作时间', MODIFY COLUMN `oper` varchar(50) COMMENT '操作人', MODIFY COLUMN `sale_main_id` bigint COMMENT '售后单id', MODIFY COLUMN `station_id` bigint COMMENT '站点id', MODIFY COLUMN `uuid` bigint COMMENT '主键', MODIFY COLUMN `version` int COMMENT '乐观锁';
ALTER TABLE `after_sale_main` MODIFY COLUMN `after_sale_no` varchar(50) COMMENT '售后单编号', MODIFY COLUMN `app_after_type` varchar(2) COMMENT '小程序选择的售后类型; 1仅退款 2退货退款 3换货', MODIFY COLUMN `apply_type` varchar(2) COMMENT '售后类型;1-仅退款 2-仅退货 3-退货退款 4-换货(无需寄回) 5-换货(需寄回) 6-取消发货', MODIFY COLUMN `area_code` varchar(50) COMMENT '订单区域编码', MODIFY COLUMN `channel_flag` varchar(4) COMMENT '是否渠道订单', MODIFY COLUMN `create_name` varchar(100) COMMENT '创建人名称', MODIFY COLUMN `create_time` varchar(20) COMMENT '创建时间', MODIFY COLUMN `creater` varchar(50) COMMENT '创建人', MODIFY COLUMN `del_flag` int COMMENT '逻辑删除;', MODIFY COLUMN `es_sync_time` varchar(20) COMMENT 'ES同步时间', MODIFY COLUMN `gift_flag` varchar(4) COMMENT '是否赠品 1-是 2-否', MODIFY COLUMN `good_type` varchar(2) COMMENT '货物状态;1需要退货 2不需要退货', MODIFY COLUMN `is_no_statement` varchar(5) COMMENT '是否满足;
......
执行语句有了,但是有问题,毕竟要在生产环境执行语句,如果一旦某张表字段定义跟测试环境不同,岂不是被刷成了测试环境的字段类型?本次目的只想更新生产环境的字段注释,字段类型可是万万不能修改的!因此这些语句不能全部无脑执行,必须对测试库和生产库的表做整体的差异化分析。虽然mysql有相关工具对不同实例中的表结构做差异化分析,例如mysql-utilities工具包中的mysqldiff工具。但是本次两个环境属于不同网段,网络并不互通,因此使用工具并不容易实现。
我使用了简单粗暴的方式:利用前面编写的语句,去掉注释信息后,分别在测试环境和生产环境执行,导出结果文本,直接在notepad++编辑器中利用compare插件做比较。去掉注释后的语句如下:
SELECT
CONCAT(
'ALTER TABLE `',
TABLE_NAME,
'` ',
GROUP_CONCAT(
'MODIFY COLUMN `',
COLUMN_NAME,
'` ',
COLUMN_TYPE SEPARATOR ', '
),
';'
) AS alter_statement
FROM
information_schema.COLUMNS
WHERE
TABLE_SCHEMA = 'order'
GROUP BY
TABLE_NAME;
分别将测试环境结果和生产环境结果导出为文本,放在notepad++编辑器最后两页,然后执行compare:
结果展示如下,黄色部分为字段包含差异,此语句不能执行。红色或绿色部分为多表或者少表,根据相应情况将语句筛选出去:
将彩色部分的语句全部筛选出去后,剩下的语句就可以在生产环境下安全执行了。
本次方案的不足之处:
- 只能对单个库进行实施,多库情况下要在sql语句WHERE TABLE_SCHEMA = 'order'部分补充添加库名;
- notepad++软件要提前安装compare插件;
- 差异化部分要单独处理,如果量比较大,则很不经济!
希望本篇记录对大家有所启发。