基于SprinBoot2.0的数据源动态切换

目的:

公司当前的后台项目经常会整合多数据源在同一个项目使用,我想要写一个公共的多数据源组件达到引用该组件即可自动装配多数据源的功能。

需求分析:

1.需要支持不同方法的数据源切换。在同一个类中可能会出现不同方法引用不同的数据源。

2.需要支持不同类的数据源切换。如果需要在每一个方法上面都定义具体使用的数据源类型,这种做法相对来说过于繁琐,所以希望可以达到class定义一次数据源类型成员方法都可以受用。

3.需要支持同一个方法实现不同数据源的切换。主要是为了支持数据库中存储的sql字段可以通过程序执行时达到数据源动态切换的目的。

编写组件:

1.多数据源注册:

创建DynamicDataSourceContextHolder类,配置数据源上下文

/**

* 存储已经注册的数据源的key

*/

protected static ListdataSourceIds =new ArrayList<>();

/**

* 线程级别的私有变量,每一个线程的私有量是独立的

*/

private static final ThreadLocalHOLDER =new ThreadLocal<>();

/**

* 获取当前使用的数据源key

*/

public static StringgetDataSourceRouterKey () {

return HOLDER.get();

}

/**

* 设置当前使用的数据源key

* @param dataSourceRouterKey

*/

public static void setDataSourceRouterKey (String dataSourceRouterKey) {

log.debug("change to {} datasource", dataSourceRouterKey);

    HOLDER.set(dataSourceRouterKey);

}

/**

* 设置数据源之前一定要先移除

*/

public static void removeDataSourceRouterKey () {

HOLDER.remove();

}

/**

* 判断指定DataSrouce当前是否存在

*

* @param dataSourceId 数据源标识主键

* @return 是否成功

*/

public static boolean containsDataSource(String dataSourceId){

return dataSourceIds.contains(dataSourceId);

}

创建DynamicDataSourceRegister类,实现多数据源注册

@Slf4j

public class DynamicDataSourceRegisterimplements ImportBeanDefinitionRegistrar, EnvironmentAware {

/**

    * 配置上下文(也可以理解为配置文件的获取工具)

    */

    private Environmentevn;

    /**

    * 别名

    */

    private final static ConfigurationPropertyNameAliasesaliases =new ConfigurationPropertyNameAliases();

    /**

    * 由于部分数据源配置不同,所以在此处添加别名,避免切换数据源出现某些参数无法注入的情况

    */

    static {

aliases.addAliases("url", new String[]{"jdbc-url"});

        aliases.addAliases("username", new String[]{"user"});

    }

/**

    * 存储我们注册的数据源

    */

    private MapcustomDataSources =new HashMap();

    /**

    * 参数绑定工具 springboot2.0新推出

    */

    private Binderbinder;

    @Override

    public void registerBeanDefinitions(AnnotationMetadata annotationMetadata, BeanDefinitionRegistry beanDefinitionRegistry) {

// 获取所有数据源配置

        Map config, defauleDataSourceProperties =binder.bind("spring.datasource", Map.class).get();

        // 获取数据源类型

        String typeStr =evn.getProperty("spring.datasource.type");

        // 获取数据源类型

        Class clazz = getDataSourceType(typeStr);

        // 绑定默认数据源参数 也就是主数据源

        DataSource consumerDatasource, defaultDatasource = bind(clazz, defauleDataSourceProperties);

        DynamicDataSourceContextHolder.dataSourceIds.add("master");

        log.info("注册默认数据源成功");

        // 获取其他数据源配置

        List configs =binder.bind("custom.datasource", Bindable.listOf(Map.class)).get();

        // 遍历从数据源

        for (int i =0; i < configs.size(); i++) {

config = configs.get(i);

            clazz = getDataSourceType((String) config.get("type"));

            defauleDataSourceProperties = config;

            // 绑定参数

            consumerDatasource = bind(clazz, defauleDataSourceProperties);

            // 获取数据源的key,以便通过该key可以定位到数据源

            String key = config.get("key").toString();

            customDataSources.put(key, consumerDatasource);

            // 数据源上下文,用于管理数据源与记录已经注册的数据源key

            DynamicDataSourceContextHolder.dataSourceIds.add(key);

            log.info("注册数据源{}成功", key);

        }

// bean定义类

        GenericBeanDefinition define =new GenericBeanDefinition();

        // 设置bean的类型,此处DynamicRoutingDataSource是继承AbstractRoutingDataSource的实现类

        define.setBeanClass(DynamicRoutingDataSource.class);

        // 需要注入的参数

        MutablePropertyValues mpv = define.getPropertyValues();

        // 添加默认数据源,避免key不存在的情况没有数据源可用

        mpv.add("defaultTargetDataSource", defaultDatasource);

        // 添加其他数据源

        mpv.add("targetDataSources", customDataSources);

        // 将该bean注册为datasource,不使用springboot自动生成的datasource

        beanDefinitionRegistry.registerBeanDefinition("datasource", define);

        log.info("注册数据源成功,一共注册{}个数据源", customDataSources.keySet().size() +1);

    }

/**

    * 绑定参数,以下三个方法都是参考DataSourceBuilder的bind方法实现的,目的是尽量保证我们自己添加的数据源构造过程与springboot保持一致

    */

    private void bind(DataSource result, Map properties) {

ConfigurationPropertySource source =new MapConfigurationPropertySource(properties);

        Binder binder =new Binder(new ConfigurationPropertySource[]{source.withAliases(aliases)});

        // 将参数绑定到对象

        binder.bind(ConfigurationPropertyName.EMPTY, Bindable.ofInstance(result));

    }

private T bind(Class clazz, Map properties) {

ConfigurationPropertySource source =new MapConfigurationPropertySource(properties);

        Binder binder =new Binder(new ConfigurationPropertySource[]{source.withAliases(aliases)});

        // 通过类型绑定参数并获得实例对象

        return binder.bind(ConfigurationPropertyName.EMPTY, Bindable.of(clazz)).get();

    }

private T bind(Class clazz, String sourcePath) {

Map properties =binder.bind(sourcePath, Map.class).get();

        return bind(clazz, properties);

    }

/**

    * EnvironmentAware接口的实现方法,通过aware的方式注入,此处是environment对象

    *

    * @param environment

    */

    @Override

    public void setEnvironment(Environment environment) {

log.info("开始注册数据源");

        this.evn = environment;

        // 绑定配置器

        binder = Binder.get(evn);

    }

/**

    * 通过字符串获取数据源class对象

    *

    * @param typeStr

    * @return

    */

    private ClassgetDataSourceType(String typeStr) {

Class type;

        try {

if (StringUtils.hasLength(typeStr)) {

// 字符串不为空则通过反射获取class对象

                type = (Class) Class.forName(typeStr);

            }else {

// 默认为hikariCP数据源,与springboot默认数据源保持一致

                type = HikariDataSource.class;

            }

return type;

        }catch (Exception e) {

throw new IllegalArgumentException("can not resolve class with type: " + typeStr); //无法通过反射获取class对象的情况则抛出异常,该情况一般是写错了,所以此次抛出一个runtimeexception

        }

}

创建DynamicRoutingDataSource,实现动态路由

@Slf4j

public class DynamicRoutingDataSource extends AbstractRoutingDataSource{

@Override

  protected ObjectdetermineCurrentLookupKey() {

String dataSourceName = DynamicDataSourceContextHolder.getDataSourceRouterKey();

      log.info("当前数据源是:{}", dataSourceName);

      return dataSourceName;

  }

}

2.多数据源切换:

利用注解和AOP实现多数据源之间的切换。

编写注解类

@Retention(RetentionPolicy.RUNTIME)

@Target({ElementType.METHOD,ElementType.TYPE, ElementType.PARAMETER})

@Documented

public @interface TargetDataSource {

String value()default "master"; //数据源key

  TargetDataSourceType type()default TargetDataSourceType.DEFAULT; //数据源key获取策略

}


public enum TargetDataSourceType {

    DEFAULT,

    DYNAMIC_METHOD_PARAMETER; //数据源类型取方法参数名

}

编写切面

@Order(1)

@Component

@Aspect

@Slf4j

/**

* 本切面类得目标是实现以下功能:

* 1.方法定义的数据源类型实现切换

* 2.类定义的数据源类型实现切换

* 3.同一个方法根据入参实现数据源切换

*/

public class DynamicDataSourceAspect {

@Before(value ="@annotation(targetDataSource)")

public void methodChangeDataSource(JoinPoint point, TargetDataSource targetDataSource)throws Throwable {

String datasourceId = targetDataSource.value();

        TargetDataSourceType targetDataSourceType = targetDataSource.type();

        if(targetDataSourceType!=null){

String className = point.getTarget().getClass().getName();

            String methodName = point.getSignature().getName();

            String[] paramNames = ReflexUtil.getFieldsName(className,methodName);

            int dbIdx = Arrays.binarySearch(paramNames,"db");

            if (dbIdx!=-1){

datasourceId = point.getArgs()[dbIdx].toString();

            }

}

if (!DynamicDataSourceContextHolder.containsDataSource(datasourceId)) {

log.error("数据源[{}]不存在,使用默认数据源 > {}", datasourceId, point.getSignature());

        }else {

log.debug("Use DataSource : {} > {}", datasourceId, point.getSignature());

            DynamicDataSourceContextHolder.setDataSourceRouterKey(datasourceId);

        }

}

@After(value ="@annotation(targetDataSource)")

public void methodRestoreDataSource(JoinPoint point, TargetDataSource targetDataSource) {

log.debug("Revert DataSource : {} > {}" + targetDataSource.value(), point.getSignature());

        DynamicDataSourceContextHolder.removeDataSourceRouterKey();

    }

@Before(value ="@within(targetDataSource)")

public void classChangeDataSource(JoinPoint point, TargetDataSource targetDataSource)throws Throwable {

String datasourceId = targetDataSource.value();

        if (!DynamicDataSourceContextHolder.containsDataSource(datasourceId)) {

log.error("数据源[{}]不存在,使用默认数据源 > {}", datasourceId, point.getSignature());

        }else {

log.debug("Use DataSource : {} > {}", datasourceId, point.getSignature());

            DynamicDataSourceContextHolder.setDataSourceRouterKey(datasourceId);

        }

}

@After(value ="@within(targetDataSource)")

public void classRestoreDataSource(JoinPoint point, TargetDataSource targetDataSource) {

log.debug("Revert DataSource : {} > {}" + targetDataSource.value(), point.getSignature());

        DynamicDataSourceContextHolder.removeDataSourceRouterKey();

    }

}

测试过程

1.引入多数据源组件,groupId和artifactId根据组件名称而定我的是叫下面这个。

    <groupId>com.study.springboot</groupId>

        <artifactId>dynamic-datasource

        <version>1.0-SNAPSHOT

    </dependency>

2.创建yml文件,如下配置了主数据源和CRM、CMP数据源,一共三个不同的数据源。

server:

port:8888

spring:

datasource:

driver: com.mysql.jdbc.Driver

url: jdbc:mysql://localhost:3306/java2000?autoReconnect=true&useSSL=false&allowMultiQueries=true

username: root

password: root

type:com.zaxxer.hikari.HikariDataSource

custom:

datasource:

-key: CRM

driver-class-name: com.microsoft.sqlserver.jdbc.SQLServerDriver

url: jdbc:sqlserver://localhost:1433;DatabaseName=MJNCRM

username: CRM#Java-Write

password: $33goLsjnFHe!

type: com.zaxxer.hikari.HikariDataSource

-key: CMP

driver-class-name: com.mysql.jdbc.Driver

url: jdbc:mysql://localhost:3306/cmp?autoReconnect=true&useSSL=false&allowMultiQueries=true

username: awsuser

password: Ladder19

type: com.zaxxer.hikari.HikariDataSource

mybatis:

configuration:

mapUnderscoreToCamelCase: true


3.编写不同数据源的mapper,如下使用了三个不同数据源所编写的mapper


4.将注解应用于代码


@Service

//@TargetDataSource("CMP")

public class TestServiceextends ServiceImpl {

private final CRMMappercrmMapper;

    private final MasterMappermasterMapper;

    public TestService(CRMMapper crmMapper, MasterMapper masterMapper) {

this.crmMapper = crmMapper;

        this.masterMapper = masterMapper;

    }

//@TargetDataSource("CMP")

    public void testCmp(){

List list =baseMapper.selectList(null);

        list.forEach(item->{

System.out.println(item.getCampaignName());

        });

    }

//@TargetDataSource("CRM")

    public void testCrm(){

List list =crmMapper.selectList(null);

        list.forEach(item->{

System.out.println(item.getCellphone());

        });

    }

//@TargetDataSource("master")

    public void testMaster(){

List list =masterMapper.selectList(null);

        list.forEach(item->{

System.out.println(item.getStoreNo());

        });

    }

@TargetDataSource(type = TargetDataSourceType.DYNAMIC_METHOD_PARAMETER)

public void test4(String db,int choose){

switch (choose){

case 1:

testCmp();

break;

            case 2:

testCrm();

break;

            case 3:

testMaster();

break;

        }

}

}

参考引用

在编写多数据源的组件时参考了https://blog.csdn.net/xp541130126/article/details/81739760和同事Evan所编写的代码。感谢两位!!!第一次写,写的不好请多给予批评和建议,谢谢大家

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,186评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,858评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,620评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,888评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,009评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,149评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,204评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,956评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,385评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,698评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,863评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,544评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,185评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,899评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,141评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,684评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,750评论 2 351