ShardingSphere分库分表实战(一) 基础环境搭建

一、ShardingSphere简介

Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈,它由 JDBC、Proxy 和 Sidecar(规划中)这 3 款既能够独立部署,又支持混合部署配合使用的产品组成。 它们均提供标准化的数据水平扩展、分布式事务和分布式治理等功能,可适用于如 Java 同构、异构语言、云原生等各种多样化的应用场景。

以下是Sharding Sphere在Github上的star数:


image.png

Apache ShardingSphere 旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力,而并非实现一个全新的关系型数据库。 关系型数据库当今依然占有巨大市场份额,是企业核心系统的基石,未来也难于撼动,我们更加注重在原有基础上提供增量,而非颠覆。


image.png

Apache ShardingSphere 5.x 版本开始致力于可插拔架构,项目的功能组件能够灵活的以可插拔的方式进行扩展。 目前,数据分片、读写分离、数据加密、影子库压测等功能,以及 MySQL、PostgreSQL、SQLServer、Oracle 等 SQL 与协议的支持,均通过插件的方式织入项目。 开发者能够像使用积木一样定制属于自己的独特系统。Apache ShardingSphere 目前已提供数十个 SPI 作为系统的扩展点,仍在不断增加中。

Sharding-JDBC

定位为轻量级 Java 框架,在 Java 的 JDBC 层提供的额外服务。 它使用客户端直连数据库,以 jar 包形式提供服务,无需额外部署和依赖,可理解为增强版的 JDBC 驱动,完全兼容 JDBC 和各种 ORM 框架。


image.png

适用于任何基于 JDBC 的 ORM 框架,如:JPA, Hibernate, Mybatis, Spring JDBC Template 或直接使用 JDBC。
支持任何第三方的数据库连接池,如:DBCP, C3P0, BoneCP, Druid, HikariCP 等。
支持任意实现 JDBC 规范的数据库,目前支持 MySQL,Oracle,SQLServer,PostgreSQL 以及任何遵循 SQL92 标准的数据库。

Sharding-Proxy

定位为透明化的数据库代理端,提供封装了数据库二进制协议的服务端版本,用于完成对异构语言的支持。 目前提供 MySQL 和 PostgreSQL 版本,它可以使用任何兼容 MySQL/PostgreSQL 协议的访问客户端(如:MySQL Command Client, MySQL Workbench, Navicat 等)操作数据,对 DBA 更加友好。


image.png

向应用程序完全透明,可直接当做 MySQL/PostgreSQL 使用。
适用于任何兼容 MySQL/PostgreSQL 协议的的客户端。

二、ShardingJDBC实战

2.1 基础环境搭建

springboot整合mybatis-plus为例,添加依赖

        <!--mybatis-plus依赖-->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.4.2</version>
        </dependency>
        <!--sharding-jdbc依赖-->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>4.1.1</version>
        </dependency>
        <!--分布式事务XA支持-->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-transaction-xa-core</artifactId>
            <version>4.1.1</version>
        </dependency>

其中,sharding-transaction-xa-core是分布式事务的支持,如果不需要使用XA做分布式事务,则可以不用添加。

数据库

image.png

2.1.1 数据源配置

#打印sql
spring.shardingsphere.props.sql.show=true
#datasource
spring.shardingsphere.datasource.names=ds0,ds1

spring.shardingsphere.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds0.jdbc-url=jdbc:mysql://localhost:3306/heima1?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=123456

spring.shardingsphere.datasource.ds1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds1.jdbc-url=jdbc:mysql://localhost:3306/heima2?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC
spring.shardingsphere.datasource.ds1.username=root
spring.shardingsphere.datasource.ds1.password=123456

spring.shardingsphere.datasource.names指定当前的数据源名称,比如这里的ds0ds1就是配置了两个数据源。然后接下来分别对两个数据源配置如下几个内容

  • type数据库连接池
  • driver-class-name数据库驱动
  • jdbc-url数据库连接地址
  • username账号名称
  • password密码

2.1.2 分库配置

#sharding-database
spring.shardingsphere.sharding.tables.position.database-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.tables.position.database-strategy.inline.algorithm-expression=ds$->{id % 2}

这里提到一个关键词inline行表达式,行表达式的使用非常直观,只需要在配置中使用 ${ expression }$->{ expression }标识行表达式即可。 行表达式的内容使用的是 Groovy 的语法,Groovy 能够支持的所有操作,行表达式均能够支持。例如:

  • ${begin..end} 表示范围区间
  • ${[unit1, unit2, unit_x]}表示枚举值

所以上述sharding-column=id指的是指定当前分库时需要依赖的分片键是idalgorithm-expression=ds$->{id % 2}指的是分片算法是将id取模之后,和ds进行拼接:
比如查询的id如果是1000,1000在对2取模之后会变成ds0,然后sql语句就会去ds0这个数据源中执行。

2.1.3 实体类定义

package com.brianxia.shardingjdbcmybatis.entity;

import com.baomidou.mybatisplus.annotation.TableId;
import com.baomidou.mybatisplus.annotation.TableName;
import lombok.Data;

import javax.persistence.*;
import java.io.Serializable;

@TableName("position")
@Data
public class Position implements Serializable {

    @TableId(value = "id",type = IdType.INPUT)
    private Long id;
    private String name;
    private String salary;
    private String city;
   
}

2.1.4 mapper接口添加

package com.brianxia.shardingjdbcmybatis.mapper;

import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.brianxia.shardingjdbcmybatis.entity.BOrder;
import com.brianxia.shardingjdbcmybatis.entity.Position;
import org.apache.ibatis.annotations.Mapper;

/**
 * @author brianxia
 * @version 1.0
 * @date 2021/5/25 15:41
 */
@Mapper
public interface PositionMapper extends BaseMapper<Position> {
}

三、 测试

package com.brianxia.shardingjdbcmybatis;

import com.brianxia.shardingjdbcmybatis.entity.Position;
import com.brianxia.shardingjdbcmybatis.mapper.PositionMapper;
import org.junit.jupiter.api.RepeatedTest;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

/**
 * @author brianxia
 * @version 1.0
 * @date 2021/5/27 18:45
 */
@SpringBootTest
public class BaseTest {

    @Autowired
    private PositionMapper positionMapper;


    @Test
    public void add(){
        for (long i = 0; i < 100; i++) {
            Position position = new Position();
            position.setId(i);
            positionMapper.insert(position);
        }
    }
}

首先使用自定义的id进行数据库的插入,执行日志:

2021-05-27 18:49:42.394  INFO 21560 --- [           main] ShardingSphere-SQL                       : Logic SQL: INSERT INTO position  ( id )  VALUES  ( ? )
2021-05-27 18:49:42.394  INFO 21560 --- [           main] ShardingSphere-SQL                       : SQLStatement: InsertStatementContext(super=CommonSQLStatementContext(sqlStatement=org.apache.shardingsphere.sql.parser.sql.statement.dml.InsertStatement@20c3b34b, tablesContext=org.apache.shardingsphere.sql.parser.binder.segment.table.TablesContext@ff21443), tablesContext=org.apache.shardingsphere.sql.parser.binder.segment.table.TablesContext@ff21443, columnNames=[id], insertValueContexts=[InsertValueContext(parametersCount=1, valueExpressions=[ParameterMarkerExpressionSegment(startIndex=40, stopIndex=40, parameterMarkerIndex=0)], parameters=[97])], generatedKeyContext=Optional[GeneratedKeyContext(columnName=id, generated=false, generatedValues=[97])])
2021-05-27 18:49:42.394  INFO 21560 --- [           main] ShardingSphere-SQL                       : Actual SQL: ds1 ::: INSERT INTO position  ( id )  VALUES  (?) ::: [97]
2021-05-27 18:49:42.398  INFO 21560 --- [           main] ShardingSphere-SQL                       : Logic SQL: INSERT INTO position  ( id )  VALUES  ( ? )
2021-05-27 18:49:42.398  INFO 21560 --- [           main] ShardingSphere-SQL                       : SQLStatement: InsertStatementContext(super=CommonSQLStatementContext(sqlStatement=org.apache.shardingsphere.sql.parser.sql.statement.dml.InsertStatement@20c3b34b, tablesContext=org.apache.shardingsphere.sql.parser.binder.segment.table.TablesContext@6253e59a), tablesContext=org.apache.shardingsphere.sql.parser.binder.segment.table.TablesContext@6253e59a, columnNames=[id], insertValueContexts=[InsertValueContext(parametersCount=1, valueExpressions=[ParameterMarkerExpressionSegment(startIndex=40, stopIndex=40, parameterMarkerIndex=0)], parameters=[98])], generatedKeyContext=Optional[GeneratedKeyContext(columnName=id, generated=false, generatedValues=[98])])
2021-05-27 18:49:42.398  INFO 21560 --- [           main] ShardingSphere-SQL                       : Actual SQL: ds0 ::: INSERT INTO position  ( id )  VALUES  (?) ::: [98]
2021-05-27 18:49:42.402  INFO 21560 --- [           main] ShardingSphere-SQL                       : Logic SQL: INSERT INTO position  ( id )  VALUES  ( ? )
2021-05-27 18:49:42.402  INFO 21560 --- [           main] ShardingSphere-SQL                       : SQLStatement: InsertStatementContext(super=CommonSQLStatementContext(sqlStatement=org.apache.shardingsphere.sql.parser.sql.statement.dml.InsertStatement@20c3b34b, tablesContext=org.apache.shardingsphere.sql.parser.binder.segment.table.TablesContext@12f8682a), tablesContext=org.apache.shardingsphere.sql.parser.binder.segment.table.TablesContext@12f8682a, columnNames=[id], insertValueContexts=[InsertValueContext(parametersCount=1, valueExpressions=[ParameterMarkerExpressionSegment(startIndex=40, stopIndex=40, parameterMarkerIndex=0)], parameters=[99])], generatedKeyContext=Optional[GeneratedKeyContext(columnName=id, generated=false, generatedValues=[99])])
2021-05-27 18:49:42.402  INFO 21560 --- [           main] ShardingSphere-SQL                       : Actual SQL: ds1 ::: INSERT INTO position  ( id )  VALUES  (?) ::: [99]

可以看到,奇数的id已经被送到了ds1库中,偶数的id被送到了dis0库中。

image.png

四、 总结

通过简单的配置ShardingSphere已经完成了分库操作,下一小节中我们会使用ShardingSphere进行分库+分表,同时解决主键ID生成的问题。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,294评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,493评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,790评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,595评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,718评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,906评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,053评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,797评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,250评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,570评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,711评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,388评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,018评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,796评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,023评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,461评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,595评论 2 350

推荐阅读更多精彩内容