Sharding-jdbc 分库分表源码学习(1)--分库分表

Sharding-JDBC核心概念。

LogicTable

数据分片的逻辑表,对于水平拆分的数据库(表),同一类表的总称。
例:上一篇文章为基础,用户信息表拆分为2张表,分别是t_order_0、t_order_1,他们的逻辑表名为t_order。

ActualTable

在分片的数据库中真实存在的物理表。即上个示例中的t_order_0、t_order_1

DataNode

数据分片的最小单元。由数据源名称和数据表组成,例:test_msg0.t_order_0。配置时默认各个分片数据库的表结构均相同,直接配置逻辑表和真实表对应关系即可。

ShardingColumn

分片字段。用于将数据库(表)水平拆分的关键字段。SQL中如果无分片字段,将执行全路由,性能较差。Sharding-JDBC支持多分片字段。

ShardingAlgorithm

分片算法。Sharding-JDBC通过分片算法将数据分片,支持通过等号、BETWEEN和IN分片。分片算法目前需要业务方开发者自行实现,可实现的灵活度非常高。未来Sharding-JDBC也将会实现常用分片算法,如range,hash和tag等。

分库分表配置

分表分库配置会涉及如下类:

TableRule 表规则配置对象
ShardingRule 分库分表规则配置对象
ShardingStrategy 分片策略
ShardingAlgorithm 分片算法

举例:安装上一篇文章讲过的demo,分库分表策略配置方法进行debug:

配置分表策略代码图.png

进入方法TableRule.builder("t_order")
方法内容如下;

    public static TableRule.TableRuleBuilder builder(String logicTable) {
        return new TableRule.TableRuleBuilder(logicTable);
    }

方法实现一个tableRule调用内部类;

 public static class TableRuleBuilder {
        private final String logicTable;
        private boolean dynamic;
        private List<String> actualTables;
        private DataSourceRule dataSourceRule;
        private Collection<String> dataSourceNames;
        private DatabaseShardingStrategy databaseShardingStrategy;
        private TableShardingStrategy tableShardingStrategy;
        private String generateKeyColumn;
        private Class<? extends KeyGenerator> keyGeneratorClass;

        public TableRule.TableRuleBuilder dynamic(boolean dynamic) {
            this.dynamic = dynamic;
            return this;
        }

        public TableRule.TableRuleBuilder actualTables(List<String> actualTables) {
            this.actualTables = actualTables;
            return this;
        }

        public TableRule.TableRuleBuilder dataSourceRule(DataSourceRule dataSourceRule) {
            this.dataSourceRule = dataSourceRule;
            return this;
        }

        public TableRule.TableRuleBuilder dataSourceNames(Collection<String> dataSourceNames) {
            this.dataSourceNames = dataSourceNames;
            return this;
        }

        public TableRule.TableRuleBuilder databaseShardingStrategy(DatabaseShardingStrategy databaseShardingStrategy) {
            this.databaseShardingStrategy = databaseShardingStrategy;
            return this;
        }

        public TableRule.TableRuleBuilder tableShardingStrategy(TableShardingStrategy tableShardingStrategy) {
            this.tableShardingStrategy = tableShardingStrategy;
            return this;
        }

        public TableRule.TableRuleBuilder generateKeyColumn(String generateKeyColumn) {
            this.generateKeyColumn = generateKeyColumn;
            return this;
        }

        public TableRule.TableRuleBuilder generateKeyColumn(String generateKeyColumn, Class<? extends KeyGenerator> keyGeneratorClass) {
            this.generateKeyColumn = generateKeyColumn;
            this.keyGeneratorClass = keyGeneratorClass;
            return this;
        }

        public TableRule build() {
            KeyGenerator keyGenerator = null;
            if(null != this.generateKeyColumn && null != this.keyGeneratorClass) {
                keyGenerator = KeyGeneratorFactory.createKeyGenerator(this.keyGeneratorClass);
            }

            return new TableRule(this.logicTable, this.dynamic, this.actualTables, this.dataSourceRule, this.dataSourceNames, this.databaseShardingStrategy, this.tableShardingStrategy, this.generateKeyColumn, keyGenerator);
        }

        @ConstructorProperties({"logicTable"})
        public TableRuleBuilder(String logicTable) {
            this.logicTable = logicTable;
        }
    }

从内部类来看,类初始化时,将图中代码传入配置参数,进行初始化赋值,此时this的各个参数如下图


TableRuleBuilder各个变量字段值.png

最终会调用build方法:

      public TableRule build() {
            KeyGenerator keyGenerator = null;
            if(null != this.generateKeyColumn && null != this.keyGeneratorClass) {
                keyGenerator = KeyGeneratorFactory.createKeyGenerator(this.keyGeneratorClass);
            }

            return new TableRule(this.logicTable, this.dynamic, this.actualTables, this.dataSourceRule, this.dataSourceNames, this.databaseShardingStrategy, this.tableShardingStrategy, this.generateKeyColumn, keyGenerator);
        }

最终初始化TableRule

TableRule实例化.png

大多数业务场景下,我们使用静态分库分表数据单元,即 DataNode。如上文注释处 静态表的分库分表数据单元 处所见,分成两种判断,实质上第一种是将logicTable作为 actualTable,即在库里不进行分表,是第二种的一种特例。

我们来看看 generateDataNodes()方法:
参数说明:

/**
* 生成静态数据分片节点
*
* @param actualTables 真实表
* @param dataSourceRule 数据源配置对象
* @param actualDataSourceNames 数据源名集合
* @return 静态数据分片节点
*/

先看getDataSourceNames方法; 根据 数据源配置对象 和 数据源名集合 获得 最终的数据源名集合

    private Collection<String> getDataSourceNames(DataSourceRule dataSourceRule, Collection<String> actualDataSourceNames) {
        return (Collection)(null == dataSourceRule?Collections.emptyList():(null != actualDataSourceNames && !actualDataSourceNames.isEmpty()?actualDataSourceNames:dataSourceRule.getDataSourceNames()));
    }
 private List<DataNode> generateDataNodes(List<String> actualTables, DataSourceRule dataSourceRule, Collection<String> actualDataSourceNames) {
        Collection dataSourceNames = this.getDataSourceNames(dataSourceRule, actualDataSourceNames);
        ArrayList result = new ArrayList(actualTables.size() * (dataSourceNames.isEmpty()?1:dataSourceNames.size()));
        Iterator i$ = actualTables.iterator();

        while(true) {
            while(i$.hasNext()) {
                String actualTable = (String)i$.next();
                if(DataNode.isValidDataNode(actualTable)) {
                    result.add(new DataNode(actualTable));
                } else {
                    Iterator i$1 = dataSourceNames.iterator();

                    while(i$1.hasNext()) {
                        String dataSourceName = (String)i$1.next();
                        result.add(new DataNode(dataSourceName, actualTable));
                    }
                }
            }

            return result;
        }
    }

最终返回dataNode列表如下图所示:


dataNode列表.png
分库ShardingRule与分表结构相同;

ShardingAlgorithm

我们定义的策略类,继承了一下接口:

public class ModuloDatabaseShardingAlgorithm implements SingleKeyDatabaseShardingAlgorithm<Long>

SingleKeyDatabaseShardingAlgorithm接口的定义如下:

public interface SingleKeyDatabaseShardingAlgorithm<T extends Comparable<?>> extends SingleKeyShardingAlgorithm<T>, DatabaseShardingAlgorithm {
}

可知继承了DatabaseShardingAlgorithm,此时

public interface DatabaseShardingAlgorithm extends ShardingAlgorithm {
}

SingleKeyShardingAlgorithm``接口同样继承了ShardingAlgorithm ```

public interface SingleKeyShardingAlgorithm<T extends Comparable<?>> extends ShardingAlgorithm {
    
    /**
     * Sharding with equal operator.
     * 
     * @param availableTargetNames available data sources or tables's names
     * @param shardingValue sharding value
     * @return sharding results for data sources or tables's names
     */
    String doEqualSharding(Collection<String> availableTargetNames, ShardingValue<T> shardingValue);
    
    /**
     * Sharding with in operator.
     * 
     * @param availableTargetNames available data sources or tables's names
     * @param shardingValue sharding value
     * @return sharding results for data sources or tables's names
     */
    Collection<String> doInSharding(Collection<String> availableTargetNames, ShardingValue<T> shardingValue);
    
    /**
     * Sharding with between operator.
     * 
     * @param availableTargetNames available data sources or tables's names
     * @param shardingValue sharding value
     * @return sharding results for data sources or tables's names
     */
    Collection<String> doBetweenSharding(Collection<String> availableTargetNames, ShardingValue<T> shardingValue);
}

此时关系类图如图所示:

image.png

debug后,进入ShardingStrategy.java中的doSharding方法:

    private Collection<String> doSharding(final Collection<ShardingValue<?>> shardingValues, final Collection<String> availableTargetNames) {
        if (shardingAlgorithm instanceof NoneKeyShardingAlgorithm) {
            return Collections.singletonList(((NoneKeyShardingAlgorithm) shardingAlgorithm).doSharding(availableTargetNames, shardingValues.iterator().next()));
        }
        if (shardingAlgorithm instanceof SingleKeyShardingAlgorithm) {
            SingleKeyShardingAlgorithm<?> singleKeyShardingAlgorithm = (SingleKeyShardingAlgorithm<?>) shardingAlgorithm;
            ShardingValue shardingValue = shardingValues.iterator().next();
            switch (shardingValue.getType()) {
                case SINGLE:
                    return Collections.singletonList(singleKeyShardingAlgorithm.doEqualSharding(availableTargetNames, shardingValue));
                case LIST:
                    return singleKeyShardingAlgorithm.doInSharding(availableTargetNames, shardingValue);
                case RANGE:
                    return singleKeyShardingAlgorithm.doBetweenSharding(availableTargetNames, shardingValue);
                default:
                    throw new UnsupportedOperationException(shardingValue.getType().getClass().getName());
            }
        }
        if (shardingAlgorithm instanceof MultipleKeysShardingAlgorithm) {
            return ((MultipleKeysShardingAlgorithm) shardingAlgorithm).doSharding(availableTargetNames, shardingValues);
        }
        throw new UnsupportedOperationException(shardingAlgorithm.getClass().getName());
    }

按照上一篇文章demo进行debug,当请求接口进行数据插入时,首先调用ModuloDatabaseShardingAlgorithm类中的doEqualSharding进行分库策略的使用。

分库策略.png

参数.png

通过此方法确定数据源dataSource1;

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容