Sharding-JDBC 数据源分片：Java 配置实现基于原生 JDBC 的范围分片方案

本文介绍 Sharding-JDBC 数据源分片之使用 Java 配置实现基于原生 JDBC 的范围分片方案。

注意：请先阅读 【Sharding-JDBC 数据源分片：Java 配置实现基于原生 JDBC 的精确分片方案】，本文示例代码在此基础上增量添加。

目录

  • 开发环境
  • 基础示例
  • 总结

开发环境

  • Oracle JDK 1.8.0_201
  • Apache Maven 3.6.0
  • IntelliJ IDEA (Version 2018.3.3)
  • MySQL 5.6.38

基础示例

  1. 定义精确分片算法接口 PreciseShardingAlgorithm 实现。
package tutorial.shardingsphere.jdbc.algorithm;

import org.apache.shardingsphere.api.sharding.standard.PreciseShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingValue;

import java.util.Collection;

public final class PreciseModuloShardingDatabaseAlgorithm implements PreciseShardingAlgorithm<Long> {

    @Override
    public String doSharding(Collection<String> dataSourceNames, PreciseShardingValue<Long> preciseShardingValue) {
        for (String dataSourceName : dataSourceNames) {
            if (dataSourceName.endsWith(preciseShardingValue.getValue() % 2 + "")) {
                return dataSourceName;
            }
        }
        throw new UnsupportedOperationException();
    }
}
  1. 定义范围分片算法接口 RangeShardingAlgorithm 实现。
package tutorial.shardingsphere.jdbc.algorithm;

import com.google.common.collect.Range;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingValue;

import java.util.Collection;
import java.util.LinkedHashSet;
import java.util.Set;

public final class RangeModuloShardingDatabaseAlgorithm implements RangeShardingAlgorithm<Integer> {

    @Override
    public Collection<String> doSharding(Collection<String> dataSourceNames, RangeShardingValue<Integer> rangeShardingValue) {
        Set<String> result = new LinkedHashSet<>();
        if (Range.closed(1, 5).encloses(rangeShardingValue.getValueRange())) {
            for (String dataSourceName : dataSourceNames) {
                if (dataSourceName.endsWith("0")) {
                    result.add(dataSourceName);
                }
            }
        } else if (Range.closed(6, 10).encloses(rangeShardingValue.getValueRange())) {
            for (String dataSourceName : dataSourceNames) {
                if (dataSourceName.endsWith("1")) {
                    result.add(dataSourceName);
                }
            }
        } else if (Range.closed(1, 10).encloses(rangeShardingValue.getValueRange())) {
            result.addAll(dataSourceNames);
        } else {
            throw new UnsupportedOperationException();
        }
        return result;
    }
}
  1. 定义获取数据源的工厂类。
package tutorial.shardingsphere.jdbc.util;

import org.apache.shardingsphere.api.config.sharding.KeyGeneratorConfiguration;
import org.apache.shardingsphere.api.config.sharding.ShardingRuleConfiguration;
import org.apache.shardingsphere.api.config.sharding.TableRuleConfiguration;
import org.apache.shardingsphere.api.config.sharding.strategy.StandardShardingStrategyConfiguration;
import org.apache.shardingsphere.shardingjdbc.api.ShardingDataSourceFactory;
import tutorial.shardingsphere.jdbc.algorithm.PreciseModuloShardingDatabaseAlgorithm;
import tutorial.shardingsphere.jdbc.algorithm.RangeModuloShardingDatabaseAlgorithm;

import javax.sql.DataSource;
import java.sql.SQLException;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;

public class RangeDataSourceFactory {

    /**
     * 配置数据源映射
     */
    private static Map<String, DataSource> createDataSourceMap() {
        Map<String, DataSource> result = new HashMap<>();
        result.put("ds_0", DataSourceUtils.createDataSource("ds_0"));
        result.put("ds_1", DataSourceUtils.createDataSource("ds_1"));
        return result;
    }

    public static DataSource getDataSource() throws SQLException {
        // 配置数据源映射
        Map<String, DataSource> dataSourceMap = createDataSourceMap();
        // 配置表规则
        TableRuleConfiguration tableRuleConfiguration = new TableRuleConfiguration("t_order");
        tableRuleConfiguration.setKeyGeneratorConfig(new KeyGeneratorConfiguration("SNOWFLAKE", "order_id"));
        // 配置分片规则
        ShardingRuleConfiguration shardingRuleConfiguration = new ShardingRuleConfiguration();
        shardingRuleConfiguration.getTableRuleConfigs().add(tableRuleConfiguration);
        // 配置默认分库策略
        shardingRuleConfiguration.setDefaultDatabaseShardingStrategyConfig(
                new StandardShardingStrategyConfiguration("user_id",
                        new PreciseModuloShardingDatabaseAlgorithm(),
                        new RangeModuloShardingDatabaseAlgorithm())
        );
        // 获取数据源对象
        return ShardingDataSourceFactory.createDataSource(dataSourceMap, shardingRuleConfiguration, new Properties());
    }
}

与【Sharding-JDBC 数据源分片：Java 配置实现基于原生 JDBC 的精确分片方案】 中定义的 DataSourceFactory 唯一区别在于配置的默认分库策略不同，请注意 StandardShardingStrategyConfiguration 构造方法。

  1. 定义新的 Order（订单）数据访问实现，继承 OrderDaoImpl，重写 select 方法。
package tutorial.shardingsphere.jdbc.dao.impl;

import tutorial.shardingsphere.jdbc.bean.Order;

import javax.sql.DataSource;
import java.util.List;

public class RangeOrderDaoImpl extends OrderDaoImpl {

    public RangeOrderDaoImpl(DataSource dataSource) {
        super(dataSource);
    }

    @Override
    public List<Order> select() {
        String sql = "SELECT * FROM t_order WHERE user_id BETWEEN 1 AND 5";
        return listOrders(sql);
    }
}
  1. 编写单元测试。
package tutorial.shardingsphere.jdbc;

import org.junit.Assert;
import org.junit.BeforeClass;
import org.junit.Test;
import tutorial.shardingsphere.jdbc.bean.Order;
import tutorial.shardingsphere.jdbc.dao.IOrderDao;
import tutorial.shardingsphere.jdbc.dao.impl.RangeOrderDaoImpl;
import tutorial.shardingsphere.jdbc.util.RangeDataSourceFactory;

import javax.sql.DataSource;
import java.sql.SQLException;
import java.util.List;

public class JdbcConfigRangeShardingDatabaseTest {

    private static IOrderDao orderDao;

    @BeforeClass
    public static void init() throws SQLException {
        DataSource dataSource = RangeDataSourceFactory.getDataSource();
        orderDao = new RangeOrderDaoImpl(dataSource);
    }

    @Test
    public void test() {
        orderDao.createTableIfNotExists();
        orderDao.truncateTable();
        Assert.assertEquals(0, orderDao.select().size());
        for (long i = 1; i <= 10; i++) {
            Order order = new Order(i, "Order " + i);
            orderDao.insert(order);
        }
        List<Order> result = orderDao.select();
        result.forEach(System.out::println);
    }
}

测试结果：

Order{orderId=350292866448228352, userId=2, details='Order 2'}
Order{orderId=350292866498560000, userId=4, details='Order 4'}

说明：使用 t_order 表中 user_id 字段作为单一分片键，使用 user_id 值对 2 做取模运算，余 0 的存储在 ds_0 中，余 1 的存储在 ds_1 中，因此以上测试中第 1、3、5、7、9 个订单会存储在 ds_1 中，第 2、4、6、8、10 个订单会存储在 ds_0 中。按照定义的范围分片算法逻辑，当 BETWEEN AND 数据范围在 1-5 之间时只会在 ds_0 中查找，数据范围在 6-10 之间时只会在 ds_1 中查找。覆盖后的 DAO 查询条件是 BETWEEN 1 AND 5，因此只会在 ds_0 中查找，只能找到第 2 个和第 4 个订单。

将 RangeOrderDaoImpl 的 select 方法查询条件修改为 BETWEEN 1 AND 10，重新执行单元测试可以查询到已插入的所有订单信息，测试结果略。

如果查询范围超过 1-10，如 BETWEEN 1 AND 11，则执行查询会报以下异常。

java.lang.UnsupportedOperationException
    at tutorial.shardingsphere.jdbc.algorithm.RangeModuloShardingDatabaseAlgorithm.doSharding(RangeModuloShardingDatabaseAlgorithm.java:31)
    at org.apache.shardingsphere.core.strategy.route.standard.StandardShardingStrategy.doSharding(StandardShardingStrategy.java:71)
    at org.apache.shardingsphere.core.strategy.route.standard.StandardShardingStrategy.doSharding(StandardShardingStrategy.java:60)
    at org.apache.shardingsphere.core.route.type.standard.StandardRoutingEngine.routeDataSources(StandardRoutingEngine.java:191)
    at org.apache.shardingsphere.core.route.type.standard.StandardRoutingEngine.route(StandardRoutingEngine.java:178)
    at org.apache.shardingsphere.core.route.type.standard.StandardRoutingEngine.routeByShardingConditionsWithCondition(StandardRoutingEngine.java:108)
    at org.apache.shardingsphere.core.route.type.standard.StandardRoutingEngine.routeByShardingConditions(StandardRoutingEngine.java:102)
    at org.apache.shardingsphere.core.route.type.standard.StandardRoutingEngine.getDataNodes(StandardRoutingEngine.java:87)
    at org.apache.shardingsphere.core.route.type.standard.StandardRoutingEngine.route(StandardRoutingEngine.java:69)
    at org.apache.shardingsphere.core.route.router.sharding.ParsingSQLRouter.route(ParsingSQLRouter.java:106)
    at org.apache.shardingsphere.core.route.PreparedStatementRoutingEngine.route(PreparedStatementRoutingEngine.java:66)
    at org.apache.shardingsphere.core.PreparedQueryShardingEngine.route(PreparedQueryShardingEngine.java:60)
    at org.apache.shardingsphere.core.BaseShardingEngine.shard(BaseShardingEngine.java:64)
    at org.apache.shardingsphere.shardingjdbc.jdbc.core.statement.ShardingPreparedStatement.shard(ShardingPreparedStatement.java:224)
    at org.apache.shardingsphere.shardingjdbc.jdbc.core.statement.ShardingPreparedStatement.executeQuery(ShardingPreparedStatement.java:109)
    at tutorial.shardingsphere.jdbc.dao.impl.OrderDaoImpl.listOrders(OrderDaoImpl.java:82)
    at tutorial.shardingsphere.jdbc.dao.impl.RangeOrderDaoImpl.select(RangeOrderDaoImpl.java:17)
    at tutorial.shardingsphere.jdbc.RangeShardingDatabaseTest.test(RangeShardingDatabaseTest.java:29)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:50)
    at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12)
    at org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:47)
    at org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:17)
    at org.junit.runners.ParentRunner.runLeaf(ParentRunner.java:325)
    at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:78)
    at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:57)
    at org.junit.runners.ParentRunner$3.run(ParentRunner.java:290)
    at org.junit.runners.ParentRunner$1.schedule(ParentRunner.java:71)
    at org.junit.runners.ParentRunner.runChildren(ParentRunner.java:288)
    at org.junit.runners.ParentRunner.access$000(ParentRunner.java:58)
    at org.junit.runners.ParentRunner$2.evaluate(ParentRunner.java:268)
    at org.junit.internal.runners.statements.RunBefores.evaluate(RunBefores.java:26)
    at org.junit.runners.ParentRunner.run(ParentRunner.java:363)
    at org.junit.runner.JUnitCore.run(JUnitCore.java:137)
    at com.intellij.junit4.JUnit4IdeaTestRunner.startRunnerWithArgs(JUnit4IdeaTestRunner.java:68)
    at com.intellij.rt.execution.junit.IdeaTestRunner$Repeater.startRunnerWithArgs(IdeaTestRunner.java:47)
    at com.intellij.rt.execution.junit.JUnitStarter.prepareStreamsAndStart(JUnitStarter.java:242)
    at com.intellij.rt.execution.junit.JUnitStarter.main(JUnitStarter.java:70)

总结

  • 分片算法支持通过 =、IN、BETWEEN 进行数据分片，需要自定义实现。
  • 精确分片算法 PreciseShardingAlgorithm 用于处理使用单一键作为分片键的 = 和 IN 进行分片的场景，需要配合 StandardShardingStrategy 使用。
  • 范围分片算法 RangeShardingAlgorithm 用于处理使用单一键作为分片键的 BETWEEN AND 进行分片的场景，需要配合 StandardShardingStrategy 使用。
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 220,458评论 6赞 513
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 94,030评论 3赞 396
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 166,879评论 0赞 358
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 59,278评论 1赞 295
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 68,296评论 6赞 397
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 52,019评论 1赞 308
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,633评论 3赞 420
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 39,541评论 0赞 276
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 46,068评论 1赞 319
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,181评论 3赞 340
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,318评论 1赞 352
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,991评论 5赞 347
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,670评论 3赞 331
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,183评论 0赞 23
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,302评论 1赞 272
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 48,655评论 3赞 375
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 45,327评论 2赞 358