Spring 整合MySql实现无侵入式的读写分离

一、背景描述

项目发展到一定的阶段，数据库可能成为访问性能的一个瓶颈，并且我们发现数据库的读写基本上符合2-8定律，因此有必要对数据库进行主从备份和读写分离，通过扩展读数据库的数目来横线的分散读数取数据的访问压力。

在之前的文章中有介绍过Mysql层面的主从复制的原理以及环境的搭建，这里不再赘述，直接介绍如何对一个原来只有一个读写库的项目进行改造，使其读写分离。

为了最小化项目的改造成本，我们自然希望对于原有的项目的代码改造量最小，因此我们考虑通过在dao层对Mybatis的Executor执行语句进行拦截：如果是事务性的操作或者INSERT、UPDATE、DELETE等操作，则使用主库（写库）；如果是SELECT查询语句，则使用从库（读库）。

代码实现

在dao package下新增一个split的子package，在该package下依次编写如下的三个类：

2.1 代码编写

2.1.1 编写DynamicDatasource

该类继承自AbstractRoutingDataSource，通过复写determineCurrentLookupKey()方法决定使用主库还是从库。

import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;

public class DynamicDataSource extends AbstractRoutingDataSource {

    @Override
    protected Object determineCurrentLookupKey() {
        return DynamicDataSourceHolder.getDbType();
    }
}

2.1.2 编写DynamicDataSourceHolder

该类使用一个ThreadLocal的变量用于保存实现线程安全的主从库信息的存取。

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class DynamicDataSourceHolder {

    private static Logger logger = LoggerFactory.getLogger(DynamicDataSourceHolder.class);

    public static final String DB_MASTER = "master";

    public static final String DB_SLAVE = "slave";

    private static ThreadLocal<String> contextHolder = new ThreadLocal<>();

    /**
     * 获取线程的dbType
     *
     * @return
     */
    public static String getDbType() {
        String db = contextHolder.get();
        if (db == null) {
            db = DB_MASTER;
        }
        return db;
    }

    /**
     * 设置线程的dbType
     *
     * @param str
     */
    public static void setDbType(String str) {
        logger.debug("所使用的数据源为：" + str);
        contextHolder.set(str);
    }

    /**
     * 清理连接类型
     */
    public static void clearDbType() {
        contextHolder.remove();
    }

}

2.1.3 编写DynamicDatasourceInterceptor

自定义的数据源拦截器DynamicDatasourceInterceptor ，继承自Mybatis的Interceptor拦截器，用于在Exectutor执行时对实际执行语句进行拦截，确定使用主库还是从库，并且将信息保存到线程安全的DynamicDataSourceHolder中，后面在具体确定使用哪个数据源时，会到DynamicDataSourceHolder中进行查询。

import org.apache.ibatis.executor.Executor;
import org.apache.ibatis.executor.keygen.SelectKeyGenerator;
import org.apache.ibatis.mapping.BoundSql;
import org.apache.ibatis.mapping.MappedStatement;
import org.apache.ibatis.mapping.SqlCommandType;
import org.apache.ibatis.plugin.*;
import org.apache.ibatis.session.ResultHandler;
import org.apache.ibatis.session.RowBounds;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.transaction.support.TransactionSynchronizationManager;

import javax.swing.tree.RowMapper;
import java.util.Locale;
import java.util.Properties;

/**
 * Mybatis级别的拦截器
 * <p>
 * 该拦截器会去拦截传递进来的SQL信息：
 * - 如果是INSERT、UPDATE则采用写数据源（Master）
 * - 如果是SELECT则采用读数据源(Slave)
 */
@Intercepts({@Signature(type = Executor.class, method = "update", args = {MappedStatement.class, Object.class}),
        @Signature(type = Executor.class, method = "query", args = {MappedStatement.class, Object.class, RowBounds.class, ResultHandler.class})})
public class DynamicDatasourceInterceptor implements Interceptor {

    private static Logger logger = LoggerFactory.getLogger(DynamicDatasourceInterceptor.class);

    private static final String REGEX = ".*insert\\u0020.*|.*delete\\u0020.*|.*update\\u0020.*";

    /**
     * SQL语句拦截
     *
     * @param invocation
     * @return
     * @throws Throwable
     */
    @Override
    public Object intercept(Invocation invocation) throws Throwable {
        String lookupKey = DynamicDataSourceHolder.DB_MASTER;
        Object[] objects = invocation.getArgs();
        MappedStatement ms = (MappedStatement) objects[0];
        // 是否启用事务支持，检测@Transactional注解是否启用，启用这里就为true,否则为false
        boolean synchronizationActive = TransactionSynchronizationManager.isActualTransactionActive();
        if (synchronizationActive != true) {
            //读方法
            if (ms.getSqlCommandType().equals(SqlCommandType.SELECT)) {
                // selectKey为自增id查询主键（SELECT_LAST_INSERT_ID()）方法则使用主库
                if (ms.getId().contains(SelectKeyGenerator.SELECT_KEY_SUFFIX)) {
                    lookupKey = DynamicDataSourceHolder.DB_MASTER;
                } else {
                    BoundSql boundSql = ms.getSqlSource().getBoundSql(objects[1]);
                    String sql = boundSql.getSql().toLowerCase(Locale.CHINA).replaceAll("[\\t\\n\\r]", " ");
                    if (sql.matches(REGEX)) {
                        lookupKey = DynamicDataSourceHolder.DB_MASTER;
                    } else {
                        lookupKey = DynamicDataSourceHolder.DB_SLAVE;
                    }
                }
            }
        } else {
            lookupKey = DynamicDataSourceHolder.DB_MASTER;
        }
        logger.debug("设置方法[{}] use [{}] Strategy, SqlCommandType [{}]..", ms.getId(), lookupKey, ms.getSqlCommandType().name());
        DynamicDataSourceHolder.setDbType(lookupKey);
        return invocation.proceed();
    }

    /**
     * 决定返回本体还是编织好的代理类,
     * 代理类会去调用intercept方法决定是使用主库还是从库
     *
     * @param target
     * @return
     */
    @Override
    public Object plugin(Object target) {
        if (target instanceof Executor) {//Executor是用来支持一系列增删改查操作的，因此需要对该对象进行拦截，其他的放过
            return Plugin.wrap(target, this);
        } else {//返回本体，不做拦截
            return target;
        }
    }

    /**
     * 做一些相关的参数设置，不是关键
     *
     * @param properties
     */
    @Override
    public void setProperties(Properties properties) {

    }
}

2.2 配置变更

原来只有一个数据库部署在192.168.91.134这台机器上，后面为它在192.168.91.137上配置了一个从库，访问的端口、账号、密码都一样。

2.2.1 修改数据库配置参数

原始的jdbc.properties

jdbc.driver=com.mysql.jdbc.Driver
jdbc.url=jdbc:mysql://192.168.91.134:3306/o2o?useUnicode=true&characterEncoding=utf8
jdbc.username=root
jdbc.password=123

修改后的jdbc.properties

jdbc.driver=com.mysql.jdbc.Driver
jdbc.master.url=jdbc:mysql://192.168.91.134:3306/o2o?useUnicode=true&characterEncoding=utf8
jdbc.master.username=root
jdbc.master.password=123

jdbc.slave.url=jdbc:mysql://192.168.91.137:3306/o2o?useUnicode=true&characterEncoding=utf8
jdbc.slave.username=root
jdbc.slave.password=123

2.2.3 修改数据源配置

原始的Spring-dao.xml中关于dataSource的配置：

<!--数据库连接池-->
    <bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource">
        <!--配置连接池属性-->
        <property name="driverClass" value="${jdbc.driver}"/>
        <property name="jdbcUrl" value="${jdbc.url}"/>
        <property name="user" value="${jdbc.username}"/>
        <property name="password" value="${jdbc.password}"/>

        <!--c3p0连接池私有属性-->
        <property name="maxPoolSize" value="30"/>
        <property name="minPoolSize" value="10"/>

        <!--关闭连接后不自动commit-->
        <property name="autoCommitOnClose" value="false"/>
        <!--获取连接超时时间设置-->
        <property name="checkoutTimeout" value="10000"/>
        <!--当获取连接失败时重试的次数-->
        <property name="acquireRetryAttempts" value="2"/>
    </bean>

修改后的Spring-dao.xml中关于dataSource的配置：

<!--数据库连接池-->
    <bean id="abstractDatasource" abstract="true" class="com.mchange.v2.c3p0.ComboPooledDataSource"
          destroy-method="close">
        <!--c3p0连接池私有属性-->
        <property name="maxPoolSize" value="30"/>
        <property name="minPoolSize" value="10"/>

        <!--关闭连接后不自动commit-->
        <property name="autoCommitOnClose" value="false"/>
        <!--获取连接超时时间设置-->
        <property name="checkoutTimeout" value="10000"/>
        <!--当获取连接失败时重试的次数-->
        <property name="acquireRetryAttempts" value="2"/>
    </bean>

    <!--配置主库连接池属性-->
    <bean id="master" parent="abstractDatasource">
        <property name="driverClass" value="${jdbc.driver}"/>
        <property name="jdbcUrl" value="${jdbc.master.url}"/>
        <property name="user" value="${jdbc.master.username}"/>
        <property name="password" value="${jdbc.master.password}"/>
    </bean>

    <!--配置从库连接池属性-->
    <bean id="slave" parent="abstractDatasource">
        <property name="driverClass" value="${jdbc.driver}"/>
        <property name="jdbcUrl" value="${jdbc.slave.url}"/>
        <property name="user" value="${jdbc.slave.username}"/>
        <property name="password" value="${jdbc.slave.password}"/>
    </bean>

    <!--
        配置动态数据源：
        这儿的targetDatasources就是路由数据源所对应的名称。
    -->
    <bean id="dynamicDatasource" class="com.netease.o2o.dao.split.DynamicDataSource">
        <property name="targetDataSources">
            <map>
                <entry value-ref="master" key="master"></entry>
                <entry value-ref="slave" key="slave"></entry>
            </map>
        </property>
    </bean>

    <!--延迟懒加载机制：是在mybatis生成sql语句时才去执行-->
    <bean id="dataSource" class="org.springframework.jdbc.datasource.LazyConnectionDataSourceProxy">
        <property name="targetDataSource">
            <ref bean="dynamicDatasource"/>
        </property>
    </bean>

三、测试

3.1 测试查询

 2018-12-17 16:14:04.859 [main] DEBUG c.n.o2o.dao.split.DynamicDatasourceInterceptor - 设置方法[com.netease.o2o.dao.AreaDao.findAll] use [master] Strategy, SqlCommandType [SELECT]..
2018-12-17 16:14:04.863 [main] DEBUG com.netease.o2o.dao.split.DynamicDataSourceHolder - 所使用的数据源为：slave
2018-12-17 16:14:04.871 [main] DEBUG com.netease.o2o.dao.AreaDao.findAll - ==>  Preparing: SELECT area_id,area_name,priority,create_time,last_edit_time FROM tb_area ORDER BY priority DESC
2018-12-17 16:14:04.894 [main] DEBUG com.netease.o2o.dao.AreaDao.findAll - ==> Parameters:
 2018-12-17 16:14:04.909 [main] DEBUG com.netease.o2o.dao.AreaDao.findAll - <==      Total: 2

3.2 测试插入

2018-12-17 16:13:09.348 [main] DEBUG c.n.o2o.dao.split.DynamicDatasourceInterceptor - 设置方法[com.netease.o2o.dao.ShopDao.insertShop] use [master] Strategy, SqlCommandType [INSERT]..
2018-12-17 16:13:09.351 [main] DEBUG com.netease.o2o.dao.split.DynamicDataSourceHolder - 所使用的数据源为：master
2018-12-17 16:13:09.357 [main] DEBUG com.netease.o2o.dao.ShopDao.insertShop - ==>  Preparing: INSERT INTO tb_shop (owner_id,area_id,shop_category_id,shop_name,shop_description,shop_address,phone,shop_image, priority,create_time,last_edit_time,enable_status,advice) VALUES (?,?,?,?,? ,?,?,?,?,?,?,?,?)
2018-12-17 16:13:09.387 [main] DEBUG com.netease.o2o.dao.ShopDao.insertShop - ==> Parameters: 1(Long), 1(Integer), 1(Long), test(String), test(String), test(String), test(String), (String), 1(Integer), 2018-12-17 16:13:09.336(Timestamp), 2018-12-17 16:13:09.336(Timestamp), 1(Integer), 审核中(String)
2018-12-17 16:13:09.388 [main] DEBUG com.netease.o2o.dao.ShopDao.insertShop - <==    Updates: 1
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 216,591评论 6赞 501
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 92,448评论 3赞 392
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 162,823评论 0赞 353
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 58,204评论 1赞 292
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 67,228评论 6赞 388
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 51,190评论 1赞 299
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,078评论 3赞 418
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,923评论 0赞 274
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 45,334评论 1赞 310
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,550评论 2赞 333
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,727评论 1赞 348
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,428评论 5赞 343
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,022评论 3赞 326
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,672评论 0赞 22
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,826评论 1赞 269
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,734评论 2赞 368
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,619评论 2赞 354

推荐阅读更多精彩内容

  • 关于Mongodb的全面总结
    关于Mongodb的全面总结 MongoDB的内部构造《MongoDB The Definitive Guide》...
    中v中阅读 31,928评论 2赞 89
  • 致喜欢与爱——观电影《王尔德的情人》
    电影《后会无期》中有一句台词“喜欢就会放肆，但爱就是克制。” 在我浅略地观览了一回王尔德的一生中似乎得到了共鸣。 ...
    方目阅读 6,776评论 1赞 3
  • 逐光者
    雨水切断光的视线 站在黑暗边缘 厚厚壁垒 脚下粘稠 有光在褶皱 僵化的脊椎 粘连的眼皮 也许太多的夜晚 没有光洗礼...
    达悟希阅读 409评论 0赞 6