Spring配置多数据源动态切换问题

面临问题

主体环境ssm框架，系统逐渐庞大，包含业务越来越多。

期间使用到多个数据库，使用mybatis编写sql语句越来越复杂。因为系统只配置了一个数据源，因此sql默认执行在那个数据库中，没法动态更换数据库。

所以写sql语句的时候，都要加上库名.表名才能执行业务。复杂业务这样可以接受，但是简单的单库操作，这样无法接受，效率太慢（无法使用mybatis的通用mapper方法，只能一句一句的编写sql语句）。

上网找方法，看到了他人博客，试着解决此困境。最后成功了，记录一下。
参照博客原文

设计总体思路

Spring-Boot+AOP方式实现多数据源切换，继承AbstractRoutingDataSource实现数据源动态的获取，在service层使用注解指定数据源。

数据源配置

yml文件

# 加密借助于开源框架jasypt，生成方法参考test.java.hai.guo.dou.novel.PrivacyEncryption 类中方法
  
  ##主数据库url
  master.spring.datasource.url : ENC(u53aH5NS1ag46O6JLg6tuAkqQp6ASgmADw9kC4wBaFyVjvXn/c56Ahn4U8OUfPwOS79jRz/zbgGZ+vxX8utJUzLvJVt90Hh0X49c/TvVsUhYyrYq+74zOuHBnhcibzsr76tLl26AaGGzIqY35/2N5A==)
  #数据库用户名
  master.spring.datasource.username : ENC(8ncxbxaQp8JP0iC1kiascA==)
  #加密后数据库密码
  master.spring.datasource.password : ENC(rOxlsSFxutzEbpCnFyMhCg==)
  ##数据库驱动
  master.spring.datasource.driver-class-name : com.mysql.jdbc.Driver
  
  ##从数据库url
  slave.spring.datasource.url : ENC(joIhIoU5umKwYDSEm/5fEiRm3skVOuTGX2yy0cM2cAmU5f3l66gZnHdPzMRUucYakciBjUAKuD3qNw+NdjWWrtqZEwjaAlYRgRc4Cj3H/U0p1Ugygogv5xKfCx0D46S4bKzYnMKxKtLHLBT141iXZA==)
  #数据库用户名
  slave.spring.datasource.username : ENC(8ncxbxaQp8JP0iC1kiascA==)
  #加密后数据库密码
  slave.spring.datasource.password : ENC(rOxlsSFxutzEbpCnFyMhCg==)
  ##数据库驱动
  slave.spring.datasource.driver-class-name : com.mysql.jdbc.Driver
  
  #使用druid的话 需要多配置一个属性spring.datasource.type
  spring.datasource.type : com.alibaba.druid.pool.DruidDataSource

数据源配置类，使用了Druid数据库连接池，数据源DynamicDataSource类是继承spring提供的动态数据源（AbstractRoutingDataSource）的实现类

import com.alibaba.druid.pool.DruidDataSource;
import org.apache.log4j.Logger;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.DependsOn;
import org.springframework.context.annotation.Primary;

import javax.sql.DataSource;
import java.sql.SQLException;
import java.util.HashMap;
import java.util.Map;

/**
 * Druid连接池配置
 */
@Configuration
public class DruidConfig {
    private Logger logger = Logger.getLogger(this.getClass());

    //主数据库
    @Value("${master.spring.datasource.url}")
    private String masterDbUrl;

    @Value("${master.spring.datasource.username}")
    private String masterUsername;

    @Value("${master.spring.datasource.password}")
    private String masterPassword;

    @Value("${master.spring.datasource.driver-class-name}")
    private String masterDriverClassName;

    //从数据库
    @Value("${slave.spring.datasource.url}")
    private String slaveDbUrl;

    @Value("${master.spring.datasource.username}")
    private String slaveUsername;

    @Value("${master.spring.datasource.password}")
    private String slavePassword;

    @Value("${master.spring.datasource.driver-class-name}")
    private String slaveDriverClassName;


    @Value("${spring.datasource.initialSize}")
    private int initialSize;

    @Value("${spring.datasource.minIdle}")
    private int minIdle;

    @Value("${spring.datasource.maxActive}")
    private int maxActive;

    @Value("${spring.datasource.maxWait}")
    private int maxWait;

    @Value("${spring.datasource.timeBetweenEvictionRunsMillis}")
    private int timeBetweenEvictionRunsMillis;

    @Value("${spring.datasource.minEvictableIdleTimeMillis}")
    private int minEvictableIdleTimeMillis;

    @Value("${spring.datasource.validationQuery}")
    private String validationQuery;

    @Value("${spring.datasource.testWhileIdle}")
    private boolean testWhileIdle;

    @Value("${spring.datasource.testOnBorrow}")
    private boolean testOnBorrow;

    @Value("${spring.datasource.testOnReturn}")
    private boolean testOnReturn;

    @Value("${spring.datasource.poolPreparedStatements}")
    private boolean poolPreparedStatements;

    @Value("${spring.datasource.maxPoolPreparedStatementPerConnectionSize}")
    private int maxPoolPreparedStatementPerConnectionSize;

    @Value("${spring.datasource.filters}")
    private String filters;

    @Value("${spring.datasource.connectionProperties}")
    private String connectionProperties;

    /**
     * 主数据源
     * @return
     */
    @Bean("masterdb")
    public DataSource masterdb() {
        DruidDataSource datasource = new DruidDataSource();

        datasource.setUrl(this.masterDbUrl);
        datasource.setUsername(masterUsername);
        datasource.setPassword(masterPassword);
        datasource.setDriverClassName(masterDriverClassName);


        //configuration
        datasource.setInitialSize(initialSize);
        datasource.setMinIdle(minIdle);
        datasource.setMaxActive(maxActive);
        datasource.setMaxWait(maxWait);
        datasource.setTimeBetweenEvictionRunsMillis(timeBetweenEvictionRunsMillis);
        datasource.setMinEvictableIdleTimeMillis(minEvictableIdleTimeMillis);
        datasource.setValidationQuery(validationQuery);
        datasource.setTestWhileIdle(testWhileIdle);
        datasource.setTestOnBorrow(testOnBorrow);
        datasource.setTestOnReturn(testOnReturn);
        datasource.setPoolPreparedStatements(poolPreparedStatements);
        datasource.setMaxPoolPreparedStatementPerConnectionSize(maxPoolPreparedStatementPerConnectionSize);
        try {
            datasource.setFilters(filters);
        } catch (SQLException e) {
            logger.error("druid configuration Exception", e);
        }
        datasource.setConnectionProperties(connectionProperties);

        return datasource;
    }

    /**
     * 从数据源
     * @return
     */
    @Bean("slavedb")
    public DataSource slavedb() {
        DruidDataSource datasource = new DruidDataSource();

        datasource.setUrl(this.slaveDbUrl);
        datasource.setUsername(slaveUsername);
        datasource.setPassword(slavePassword);
        datasource.setDriverClassName(slaveDriverClassName);


        //configuration
        datasource.setInitialSize(initialSize);
        datasource.setMinIdle(minIdle);
        datasource.setMaxActive(maxActive);
        datasource.setMaxWait(maxWait);
        datasource.setTimeBetweenEvictionRunsMillis(timeBetweenEvictionRunsMillis);
        datasource.setMinEvictableIdleTimeMillis(minEvictableIdleTimeMillis);
        datasource.setValidationQuery(validationQuery);
        datasource.setTestWhileIdle(testWhileIdle);
        datasource.setTestOnBorrow(testOnBorrow);
        datasource.setTestOnReturn(testOnReturn);
        datasource.setPoolPreparedStatements(poolPreparedStatements);
        datasource.setMaxPoolPreparedStatementPerConnectionSize(maxPoolPreparedStatementPerConnectionSize);
        try {
            datasource.setFilters(filters);
        } catch (SQLException e) {
            logger.error("druid configuration Exception", e);
        }
        datasource.setConnectionProperties(connectionProperties);

        return datasource;
    }



    @Bean// 指定使用 DynamicDataSource 来作为系统 dataSource 数据源
    @DependsOn("masterdb")
    @Primary
    public DynamicDataSource createDataSource(DataSource masterdb) {
        DynamicDataSource dynamicDataSource =  new DynamicDataSource();
        dynamicDataSource.setDefaultTargetDataSource(masterdb);
        dynamicDataSource.setTargetDataSources(getTargetDataSources());
        return dynamicDataSource;
    }

    /* 初始化 targetDataSources */
    public Map<Object, Object> getTargetDataSources() {
        Map<Object, Object> targetDataSources = new HashMap();
        targetDataSources.put("slavedb",slavedb());
        return targetDataSources;
    }


}

自定义数据源 DynamicDataSource 类源码 这个非常重要是切换数据源的关键性代码

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;

/**
 * <p>
 * ** **
 * </p>
 *
 * @author douguohai
 * @since 2019-03-03
 */
public class DynamicDataSource extends AbstractRoutingDataSource {

    private Logger logger = LoggerFactory.getLogger(this.getClass());

    @Override
    protected Object determineCurrentLookupKey() {
        String dataSource = JdbcContextHolder.getDataSource();
        logger.info("数据源为{}",dataSource);
        return dataSource;
    }

}

注意:

看他实现了AbstractRoutingDataSource的一个方法，这个方法作用是在本地线程中获取当前数据源的名称，然后再根据数据源的名称，实现动态切换数据源，看关键性源码

image.png

上面方法的targetDataSources集合就是我们在自定义数据源配置文件中定义的

image.png

最终实现切换数据源的关键性代码

image-1.png

数据源管理类（JdbcContextHolder源码，主要是为了在本地线程中记录当前数据源的名称）

/**
 * <p>
 * ** **
 * </p>
 *
 * @author douguohai
 * @since 2019-03-03
 */
public class JdbcContextHolder {

    private final static ThreadLocal<String> local = new ThreadLocal<>();

    public static void putDataSource(String name) {
        local.set(name);
    }

    public static String getDataSource() {
        return local.get();
    }

    public static void clearDataSource() {
        local.remove();
    }
}

回归正题

自定义切面和注解

上面说利用aop实现数据源切换，下面定义切面

import org.aspectj.lang.JoinPoint;
import org.aspectj.lang.annotation.AfterReturning;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Before;
import org.aspectj.lang.annotation.Pointcut;
import org.aspectj.lang.reflect.MethodSignature;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.core.annotation.Order;
import org.springframework.stereotype.Component;

import java.lang.reflect.Method;

/**
 * <p>
 * ** **
 * </p>
 *
 * @author douguohai
 * @since 2019-03-03
 */
@Order(1)   //设置AOP执行顺序(需要在事务之前，否则事务只发生在默认库中)
@Aspect
@Component
public class DataSourceAspect {

    private Logger logger = LoggerFactory.getLogger(this.getClass());
    //切点
    @Pointcut("execution(* hai.guo.novel.service.*.*(..))")
    public void aspect() { }

    @Before("aspect()")
    private void before(JoinPoint point) {
        Object target = point.getTarget();
        String method = point.getSignature().getName();
        Class<?> classz = target.getClass();// 获取目标类
        Class<?>[] parameterTypes = ((MethodSignature) point.getSignature())
                .getMethod().getParameterTypes();
        try {
            Method m = classz.getMethod(method, parameterTypes);
            if (m != null && m.isAnnotationPresent(MyDataSource.class)) {
                MyDataSource data = m.getAnnotation(MyDataSource.class);
                logger.info("method :{},datasource:{}",m.getName() ,data.value().getName());
                JdbcContextHolder.putDataSource(data.value().getName());// 数据源放到当前线程中
            }
        } catch (Exception e) {
            logger.error("get datasource error ",e);
            //默认选择master
            JdbcContextHolder.putDataSource(DataSourceType.Master.getName());// 数据源放到当前线程中
        }

    }

    @AfterReturning("aspect()")
    public void after(JoinPoint point) {
        JdbcContextHolder.clearDataSource();
    }
}

自定义注解，加在service方法上面（这个自定义注解我还没研究，先就这么用吧，等我有时间再看看）

import java.lang.annotation.ElementType;
import java.lang.annotation.Retention;
import java.lang.annotation.RetentionPolicy;
import java.lang.annotation.Target;

/**
 * <p>
 * ** **
 * </p>
 *
 * @author douguohai
 * @since 2019-03-03
 */
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
public @interface MyDataSource {

    DataSourceType value();

}

数据源枚举类，名称和自定义的数据源bean的名称要相同

public enum  DataSourceType {
    // 主表
    Master("masterdb"),
    // 从表
    Slave("slavedb");

    private String name;

    private DataSourceType(String name) {
        this.name = name;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }
}

切点注解（注意切点与你项目的位置是否相同）

由于我们的动态数据源配置了默认库，所以如果方法是操作默认库的可以不需要注解。

如果要操作非默认数据源，我们需要在方法上添加@MyDataSource("数据源名称")注解，这样就可以利用AOP实现动态切换了

@Service
public class xxxServiceImpl {

    @Resource
    private XxxMapperExt xxxMapperExt;

    @MyDataSource(value= DataSourceType.Slave)
    public List<Object> getAll(){
        return xxxMapperExt.getAll();
    }
}

总体执行流程图

spring多数据源切换.jpg

最后编辑于：2019.10.27 11:54:42

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 213,254评论 6赞 492
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,875评论 3赞 387
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 158,682评论 0赞 348
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,896评论 1赞 285
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,015评论 6赞 385
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,152评论 1赞 291
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,208评论 3赞 412
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,962评论 0赞 268
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,388评论 1赞 304
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,700评论 2赞 327
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,867评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,551评论 4赞 335
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,186评论 3赞 317
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,901评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,142评论 1赞 267
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,689评论 2赞 362
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,757评论 2赞 351