Spring Boot项目集成Sharding-JDBC

前言

市面上分库分表的工具有很多,大致分为两种:

  • 一种是在代码层面实现的分库分表,典型的像Sharding-JDBC;
  • 另一种是基于代理实现的,比如:MyCat、Sharding-proxy;

代理实现的分库分表由于增加了一个代理层,所以会带来网络传输的开销;而代码层面的分库分表相对来说性能会好一点;这里咱们来实践一下Sharding-JDBC,集成到Spring Boot项目中;

创建数据库

我们创建两个数据库分别是mall_tb1、mall_tb2,两个库中创建相同的表,这里需要注意分库的两个表数据结构和类型要完全一致,否则后面启动时会报错;

#订单表
CREATE TABLE t_order (
    `id` BIGINT ( 36 ) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 'ID',
    `order_num` VARCHAR ( 36 ) NOT NULL UNIQUE COMMENT '订单号',
    `triple_num` VARCHAR ( 36 ) NOT NULL UNIQUE COMMENT '三方单号',
    `state` TINYINT ( 1 ) NOT NULL COMMENT '订单状态:0:待支付;1:已支付;2:已取消;3:部分退回;4:全部退回',
    `order_time` DATETIME NOT NULL COMMENT '下单时间',
    `total_price` DECIMAL ( 11, 2 ) NOT NULL COMMENT '总金额',
    `address` VARCHAR ( 255 ) NOT NULL COMMENT '地址',
    `phone` VARCHAR ( 30 ) NOT NULL COMMENT '电话',
    `user_num` VARCHAR ( 30 ) NOT NULL COMMENT '用户编码',
    `payment_time` DATETIME COMMENT '支付时间',
    `payment` TINYINT ( 2 ) COMMENT '支付方式',
    `version` INT ( 10 ) NOT NULL COMMENT '版本号',
    `freight` DECIMAL ( 11, 2 ) NOT NULL COMMENT '运费',
    `dr` TINYINT ( 1 ) NOT NULL DEFAULT 0 COMMENT '删除标记:0:未删除;1:已删除',
PRIMARY KEY ( id ) 
);
#订单明细表
CREATE TABLE t_order_item (
    `id` BIGINT ( 36 ) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 'ID',
    `order_num` VARCHAR ( 36 ) NOT NULL UNIQUE COMMENT '订单号',
    `order_item_num` VARCHAR ( 36 ) NOT NULL UNIQUE COMMENT '订单明细单号',
    `state` TINYINT ( 1 ) NOT NULL COMMENT '订单状态:0:待支付;1:已支付;2:已取消;3:部分退回;4:全部退回',
    `sku_code` bigint ( 36 ) NOT NULL COMMENT '商品sku编码',
    `name` varchar(64) comment '商品名称',
    `user_num` VARCHAR ( 30 ) NOT NULL COMMENT '用户编码',
    `amount` INT ( 10 ) UNSIGNED NOT NULL COMMENT '数量',
    `unit_price` DECIMAL ( 11, 2 ) NOT NULL COMMENT '单价',
    `item_total_price` DECIMAL ( 11, 2 ) NOT NULL COMMENT '明细总价',
    `seller_code` VARCHAR ( 36 ) NOT NULL COMMENT '卖家编码',
    `remark` VARCHAR ( 255 ) COMMENT '备注',
PRIMARY KEY ( id ) 
);

在数据库中如下图:


分库分表.png

添加依赖

然后,我们引入相关的依赖包,这里我们使用spring boot的版本是2.5.3版本,Sharding-JDBC我们使用boot-starter的版本,具体如下:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.5.3</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.example</groupId>
    <artifactId>order</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>order</name>
    <description>Demo project for Spring Boot</description>
    <properties>
        <java.version>1.8</java.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>

        <!--mybatis-->
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>2.1.0</version>
        </dependency>

        <!-- sharding-sphere -->
        <dependency>
            <groupId>io.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>3.0.0</version>
        </dependency>

        <dependency>
            <groupId>io.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-namespace</artifactId>
            <version>3.1.0</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>1.1.6</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <configuration>
                    <excludes>
                        <exclude>
                            <groupId>org.projectlombok</groupId>
                            <artifactId>lombok</artifactId>
                        </exclude>
                    </excludes>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

配置文件

因为我们使用的是Sharding-JDBC是boot-starter的版,无需手动配置,我们只需要添加配置文件的配置项即可,具体配置如下:

#数据库
spring.datasource.username=root
spring.datasource.password=root
spring.datasource.url=jdbc:mysql://localhost:3306/mall_tb1
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver

#mybatis
mybatis.mapper-locations=classpath:mapping/*Mapper.xml

server.port=8080
#是否允许覆盖定义,默认是false,这里我们设置成true
spring.main.allow-bean-definition-overriding=true

#这里数据库的配置我们要注意type项,我们使用的是Druid链接池,如果type不设置会报空指针
#ds0
sharding.jdbc.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
sharding.jdbc.datasource.ds0.type=com.alibaba.druid.pool.DruidDataSource
sharding.jdbc.datasource.ds0.url=jdbc:mysql://localhost:3306/mall_tb1
sharding.jdbc.datasource.ds0.username=root
sharding.jdbc.datasource.ds0.password=root
#ds1
sharding.jdbc.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
sharding.jdbc.datasource.ds1.type=com.alibaba.druid.pool.DruidDataSource
sharding.jdbc.datasource.ds1.url=jdbc:mysql://localhost:3306/mall_tb2
sharding.jdbc.datasource.ds1.username=root
sharding.jdbc.datasource.ds1.password=root

#配置
sharding.jdbc.datasource.names=ds0,ds1
#默认配置
sharding.jdbc.config.sharding.default-data-source-name=ds0
sharding.jdbc.config.sharding.default-database-strategy.inline.sharding-column=user_num
sharding.jdbc.config.sharding.default-database-strategy.inline.algorithm-expression=ds${user_num}%2
#分库分表的设置,可以设置多张表
sharding.jdbc.config.sharding.tables.t_order.key-generator-column-name=id
sharding.jdbc.config.sharding.tables.t_order.actual-data-nodes=ds${0..1}.t_order
sharding.jdbc.config.sharding.tables.t_order.database-strategy.inline.sharding-column=user_num
sharding.jdbc.config.sharding.tables.t_order.database-strategy.inline.algorithm-expression=ds${user_num%2}
#这两行是分表的设置,如果需要可以放开注释
#sharding.jdbc.config.sharding.tables.t_order.table-strategy.inline.sharding-column=order_num
#sharding.jdbc.config.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order${order_num%2}
sharding.jdbc.config.sharding.tables.t_order_item.key-generator-column-name=id
sharding.jdbc.config.sharding.tables.t_order_item.actual-data-nodes=ds${0..1}.t_order_item
sharding.jdbc.config.sharding.tables.t_order_item.database-strategy.inline.sharding-column=user_num
sharding.jdbc.config.sharding.tables.t_order_item.database-strategy.inline.algorithm-expression=ds${user_num%2}
#sharding.jdbc.config.sharding.tables.t_order_item.table-strategy.inline.sharding-column=order_num
#sharding.jdbc.config.sharding.tables.t_order_item.table-strategy.inline.algorithm-expression=t_order${order_num%2}

代码

完成上面的配置后,就已经可以使用sharding-jdbc的分库分表了,接下来我们写个测试代码试验一下;

@SpringBootTest
class OrderApplicationTests {

    @Autowired
    private OrderMapper orderMapper;

    @Test
    public void insertOrder(){
        OrderPO orderPO = new OrderPO();
        orderPO.setOrderNum("123");
        orderPO.setTripleNum("123");
        orderPO.setState(0);
        orderPO.setOrderTime(new Date());
        orderPO.setTotalPrice(new BigDecimal(100));
        orderPO.setAddress("北京市丰台区");
        orderPO.setPhone("13588886666");
        orderPO.setUserNum(2);
        orderPO.setPaymentTime(new Date());
        orderPO.setPayment(1);
        orderPO.setVersion(0);
        orderPO.setFreight(new BigDecimal(10));
        orderMapper.insertOrder(orderPO);
    }
}

由于是使用的user_num作为分片键,我们修改userNum的值,可以看到数据被路由到了不同的库里面。

总结

整体来说Sharding-JDBC的使用方式还是比较方便的,最后我会把官方的文档贴在末尾;分库分表的技术方案已经发展的很成熟,有很多类似Shrding-JDBC的开源方案可以使用,所以分库分表更应该关注的是使用场景,在什么情况下才适合分库分表,还有使用分库分表所带来的问题,比如分布式事物等等;
https://shardingsphere.apache.org/document/current/cn/overview/

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,793评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,567评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,342评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,825评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,814评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,680评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,033评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,687评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,175评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,668评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,775评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,419评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,020评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,206评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,092评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,510评论 2 343

推荐阅读更多精彩内容