数据库迁移

概述

为了保证系统的稳定性，最近在核心库与非核心库的隔离，在做的过程需要调整数据库的部署，涉及到数据库的迁移，本文是来自在内部分享截取。

数据库迁移

base1.jpg

总体来说迁移数据库步骤如下：

1. 修改应用的数据库链接字符串
2. 将原来的数据库中数据迁移至新的数据库
3. 发布应用启用链接新的数据库
4. 通知下游系统，使用新的链接

理论迁移步骤.jpg

总来来说迁移数据库迁移步骤还算明确的，但是这4步中有个关键的一步，就是第3步，何时启用新的数据库链接直接关系到数据一致性。
按照上面的步骤迁移，要思考的一个问题就是如何判断数据是否迁移完成。假设service时时刻刻在调用db1进行写操作，那么就是说数据同步一直在进行永远不会完成。如何解决呢？

1. 如果不等数据迁移同步完，迁移到接近完成就开始将service和db1的链接断掉，将请求打到db2,这样没有数据进到db1,db1数据总会全部同步到db2的。这样不就行了吗？这样的问题是啥呢？这样的会造成数据不一致，举个例子，比如有条记录insert操作在断掉链接1之前，insert完成之后，马上断掉了链接1启用了链接2，此时对这条记录有update操作，如果同步任务还没有将这条记录同步到db2,那么update是失败的，造成数据不一致。

理论数据迁移方案1-2.jpg

2. 鉴于上面会造成数据不一致，那么如果采用双写模式模式呢，即不断开链接1，启用链接2，往两个数据库写，db1一定是完成的数据，跑上一段时间如果db2有数据不一致记录，那么用db1的记录去覆盖db2的记录，看起来似乎是可行，但是如何判断db2的数据不一致呢？这样理论上是可行，但是操作上难度系数太高。那么有没有更简单的方式呢。

理论迁移方案2.jpg

3. 既然要数据一致，为何不在迁移之前就保证数据是一致的呢，但是前面又说了数据是源源不断写到db1,无法确定哪一刻db1和db2的数据是一致的。这样可以把service写db1的链接断掉，等待db1和db2数据完成之后在启用db2.这样数据就是一致的了。缩短db1断开到db2启用的时间段，在流量低峰操作，在c端透出友好提示，这样最少限度的影响客户的使用又能做到简单的数据库迁移替换。

迁移步骤.jpg

基于3的思路，如何缩短db1断开到db2启用的时间段呢？可以从如下角度考虑。

1. ，提前全量同步db1的数据到db2.全量同步完成之后，开启增量同步， 在流量低峰，db1写入的数据不多。那么db2与db1的偏移量很低，如果停掉db1写操作，那么db1和db2的数据很快能保持一致。
2. 快速切换。快速断开db1，同时也能快速启用db2,那么发应用显得慢，要做动态开关。

做到上面两点基本上就能将db1断开到db2启用的时间段缩的很短可以做到分钟级别，甚至秒级别的。

如何切断原数据源

这个问题要具体业务具体分析，C端用户访问功能，就要从接口层面先临时短暂做降级通过sentinel配置接口访问0，给用户友好的提示，等数据迁移完成快速切换数据源并放开并放开接口层面的限制，由此用户端短暂不可用，所以此类数据库一定要挑选深夜用户访问量少的情况发布，减少对业务的影响。

如何动态切换数据源

目前我们的项目都是通过mybatis框架来访问和操作数据库，我们知道程序通过配置 SqlSessionTemplate 使用SqlSessionTemplate来访问底层的datasource来访问和操作数据库的，那么可以采用如下思路：

1. 继承SqlSessionTemplate 并重写 这里记DynamicSqlSessionTemplate
2. 往DynamicSqlSessionTemplate注入多个数据源，通过apollo配置可以动态选择使用哪个datasource来操作数据库。
3. 原来是配置的SqlSessionTemplate现在改成配置DynamicSqlSessionTemplate，程序最后使用的DynamicSqlSessionTemplate重写的方法，可以动态调整数据源。

具体的可以参考： https://www.cnblogs.com/xifengxiaoma/p/9888240.html

数据同步-阿里云DTS

阿里云数据同步和数据迁移的一个工具，可以做数据的全量与增量同步
数据库迁移

image.png