MySQL-分布式架构-MyCAT

1. MyCAT基础架构图

image.png

2. MyCAT基础架构准备

2.1 环境准备:

两台虚拟机 db01 db02每台创建四个mysql实例:3307 3308 3309 3310

2.2 删除历史环境:

pkill mysqldrm-rf/data/330*mv/etc/my.cnf/etc/my.cnf.bak

2.3 创建相关目录初始化数据

mkdir/data/33{07..10}/data-pmysqld--initialize-insecure--user=mysql--datadir=/data/3307/data--basedir=/app/mysqlmysqld--initialize-insecure--user=mysql--datadir=/data/3308/data--basedir=/app/mysqlmysqld--initialize-insecure--user=mysql--datadir=/data/3309/data--basedir=/app/mysqlmysqld--initialize-insecure--user=mysql--datadir=/data/3310/data--basedir=/app/mysql

2.4 准备配置文件和启动脚本

========db01==============cat>/data/3307/my.cnf<<EOF[mysqld]basedir=/app/mysqldatadir=/data/3307/datasocket=/data/3307/mysql.sockport=3307log-error=/data/3307/mysql.loglog_bin=/data/3307/mysql-binbinlog_format=rowskip-name-resolveserver-id=7gtid-mode=onenforce-gtid-consistency=truelog-slave-updates=1EOFcat>/data/3308/my.cnf<<EOF[mysqld]basedir=/app/mysqldatadir=/data/3308/dataport=3308socket=/data/3308/mysql.socklog-error=/data/3308/mysql.loglog_bin=/data/3308/mysql-binbinlog_format=rowskip-name-resolveserver-id=8gtid-mode=onenforce-gtid-consistency=truelog-slave-updates=1EOFcat>/data/3309/my.cnf<<EOF[mysqld]basedir=/app/mysqldatadir=/data/3309/datasocket=/data/3309/mysql.sockport=3309log-error=/data/3309/mysql.loglog_bin=/data/3309/mysql-binbinlog_format=rowskip-name-resolveserver-id=9gtid-mode=onenforce-gtid-consistency=truelog-slave-updates=1EOFcat>/data/3310/my.cnf<<EOF[mysqld]basedir=/app/mysqldatadir=/data/3310/datasocket=/data/3310/mysql.sockport=3310log-error=/data/3310/mysql.loglog_bin=/data/3310/mysql-binbinlog_format=rowskip-name-resolveserver-id=10gtid-mode=onenforce-gtid-consistency=truelog-slave-updates=1EOFcat>/etc/systemd/system/mysqld3307.service<<EOF[Unit]Description=MySQL ServerDocumentation=man:mysqld(8)Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.htmlAfter=network.targetAfter=syslog.target[Install]WantedBy=multi-user.target[Service]User=mysqlGroup=mysqlExecStart=/app/mysql/bin/mysqld--defaults-file=/data/3307/my.cnfLimitNOFILE=5000EOFcat>/etc/systemd/system/mysqld3308.service<<EOF[Unit]Description=MySQL ServerDocumentation=man:mysqld(8)Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.htmlAfter=network.targetAfter=syslog.target[Install]WantedBy=multi-user.target[Service]User=mysqlGroup=mysqlExecStart=/app/mysql/bin/mysqld--defaults-file=/data/3308/my.cnfLimitNOFILE=5000EOFcat>/etc/systemd/system/mysqld3309.service<<EOF[Unit]Description=MySQL ServerDocumentation=man:mysqld(8)Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.htmlAfter=network.targetAfter=syslog.target[Install]WantedBy=multi-user.target[Service]User=mysqlGroup=mysqlExecStart=/app/mysql/bin/mysqld--defaults-file=/data/3309/my.cnfLimitNOFILE=5000EOFcat>/etc/systemd/system/mysqld3310.service<<EOF[Unit]Description=MySQL ServerDocumentation=man:mysqld(8)Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.htmlAfter=network.targetAfter=syslog.target[Install]WantedBy=multi-user.target[Service]User=mysqlGroup=mysqlExecStart=/app/mysql/bin/mysqld--defaults-file=/data/3310/my.cnfLimitNOFILE=5000EOF========db02===============cat>/data/3307/my.cnf<<EOF[mysqld]basedir=/app/mysqldatadir=/data/3307/datasocket=/data/3307/mysql.sockport=3307log-error=/data/3307/mysql.loglog_bin=/data/3307/mysql-binbinlog_format=rowskip-name-resolveserver-id=17gtid-mode=onenforce-gtid-consistency=truelog-slave-updates=1EOFcat>/data/3308/my.cnf<<EOF[mysqld]basedir=/app/mysqldatadir=/data/3308/dataport=3308socket=/data/3308/mysql.socklog-error=/data/3308/mysql.loglog_bin=/data/3308/mysql-binbinlog_format=rowskip-name-resolveserver-id=18gtid-mode=onenforce-gtid-consistency=truelog-slave-updates=1EOFcat>/data/3309/my.cnf<<EOF[mysqld]basedir=/app/mysqldatadir=/data/3309/datasocket=/data/3309/mysql.sockport=3309log-error=/data/3309/mysql.loglog_bin=/data/3309/mysql-binbinlog_format=rowskip-name-resolveserver-id=19gtid-mode=onenforce-gtid-consistency=truelog-slave-updates=1EOFcat>/data/3310/my.cnf<<EOF[mysqld]basedir=/app/mysqldatadir=/data/3310/datasocket=/data/3310/mysql.sockport=3310log-error=/data/3310/mysql.loglog_bin=/data/3310/mysql-binbinlog_format=rowskip-name-resolveserver-id=20gtid-mode=onenforce-gtid-consistency=truelog-slave-updates=1EOFcat>/etc/systemd/system/mysqld3307.service<<EOF[Unit]Description=MySQL ServerDocumentation=man:mysqld(8)Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.htmlAfter=network.targetAfter=syslog.target[Install]WantedBy=multi-user.target[Service]User=mysqlGroup=mysqlExecStart=/app/mysql/bin/mysqld--defaults-file=/data/3307/my.cnfLimitNOFILE=5000EOFcat>/etc/systemd/system/mysqld3308.service<<EOF[Unit]Description=MySQL ServerDocumentation=man:mysqld(8)Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.htmlAfter=network.targetAfter=syslog.target[Install]WantedBy=multi-user.target[Service]User=mysqlGroup=mysqlExecStart=/app/mysql/bin/mysqld--defaults-file=/data/3308/my.cnfLimitNOFILE=5000EOFcat>/etc/systemd/system/mysqld3309.service<<EOF[Unit]Description=MySQL ServerDocumentation=man:mysqld(8)Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.htmlAfter=network.targetAfter=syslog.target[Install]WantedBy=multi-user.target[Service]User=mysqlGroup=mysqlExecStart=/app/mysql/bin/mysqld--defaults-file=/data/3309/my.cnfLimitNOFILE=5000EOFcat>/etc/systemd/system/mysqld3310.service<<EOF[Unit]Description=MySQL ServerDocumentation=man:mysqld(8)Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.htmlAfter=network.targetAfter=syslog.target[Install]WantedBy=multi-user.target[Service]User=mysqlGroup=mysqlExecStart=/app/mysql/bin/mysqld--defaults-file=/data/3310/my.cnfLimitNOFILE=5000EOF

2.5 修改权限,启动多实例

chown-R mysql.mysql/data/*

systemctl start mysqld3307

systemctl start mysqld3308

systemctl start mysqld3309

systemctl start mysqld3310

mysql -S /data/3307/mysql.sock -e "show variables like 'server_id'"

mysql -S /data/3308/mysql.sock -e "show variables like 'server_id'"

mysql -S /data/3309/mysql.sock -e "show variables like 'server_id'"

mysql -S /data/3310/mysql.sock -e "show variables like 'server_id'"

2.6 节点主从规划

箭头指向谁是主库    10.0.0.51:3307    <----->  10.0.0.52:3307    10.0.0.51:3309    ------>  10.0.0.51:3307    10.0.0.52:3309    ------>  10.0.0.52:3307    10.0.0.52:3308  <----->    10.0.0.51:3308    10.0.0.52:3310  ----->    10.0.0.52:3308    10.0.0.51:3310  ----->    10.0.0.51:3308

2.7 分片规划

shard1:    Master:10.0.0.51:3307    slave1:10.0.0.51:3309    Standby Master:10.0.0.52:3307    slave2:10.0.0.52:3309shard2:    Master:10.0.0.52:3308    slave1:10.0.0.52:3310    Standby Master:10.0.0.51:3308    slave2:10.0.0.51:3310

2.8 开始配置

shard1

10.0.0.51:3307    <----->  10.0.0.52:3307

db02

mysql-S/data/3307/mysql.sock-e"grant replication slave on *.* to repl@'10.0.0.%' identified by '123';"mysql-S/data/3307/mysql.sock-e"grant all  on *.* to root@'10.0.0.%' identified by '123'  with grant option;"

db01

mysql-S/data/3307/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3307/mysql.sock-e"start slave;"mysql-S/data/3307/mysql.sock-e"show slave status\G"

db02

mysql-S/data/3307/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3307/mysql.sock-e"start slave;"mysql-S/data/3307/mysql.sock-e"show slave status\G"

10.0.0.51:3309    ------>  10.0.0.51:3307

db01

mysql-S/data/3309/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3309/mysql.sock-e"start slave;"mysql-S/data/3309/mysql.sock-e"show slave status\G"

10.0.0.52:3309    ------>  10.0.0.52:3307

db02

mysql-S/data/3309/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3309/mysql.sock-e"start slave;"mysql-S/data/3309/mysql.sock-e"show slave status\G"

shard2

10.0.0.52:3308  <----->    10.0.0.51:3308

db01

mysql-S/data/3308/mysql.sock-e"grant replication slave on *.* to repl@'10.0.0.%' identified by '123';"mysql-S/data/3308/mysql.sock-e"grant all  on *.* to root@'10.0.0.%' identified by '123'  with grant option;"

db02

mysql-S/data/3308/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3308/mysql.sock-e"start slave;"mysql-S/data/3308/mysql.sock-e"show slave status\G"

db01

mysql-S/data/3308/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3308/mysql.sock-e"start slave;"mysql-S/data/3308/mysql.sock-e"show slave status\G"

10.0.0.52:3310    ----->      10.0.0.52:3308

db02

mysql-S/data/3310/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3310/mysql.sock-e"start slave;"mysql-S/data/3310/mysql.sock-e"show slave status\G"

10.0.0.51:3310  ----->    10.0.0.51:3308

db01

mysql-S/data/3310/mysql.sock-e"CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"mysql-S/data/3310/mysql.sock-e"start slave;"mysql-S/data/3310/mysql.sock-e"show slave status\G"

2.9 检测主从状态

mysql -S /data/3307/mysql.sock -e "show slave status\G"|grep Yes

mysql -S /data/3308/mysql.sock -e "show slave status\G"|grep Yes

mysql -S /data/3309/mysql.sock -e "show slave status\G"|grep Yes

mysql -S /data/3310/mysql.sock -e "show slave status\G"|grep Yes

注:如果中间出现错误,在每个节点进行执行以下命令

mysql -S /data/3307/mysql.sock -e "stop slave; reset slave all;"

mysql -S /data/3308/mysql.sock -e "stop slave; reset slave all;"

mysql -S /data/3309/mysql.sock -e "stop slave; reset slave all;"

mysql -S /data/3310/mysql.sock -e "stop slave; reset slave all;"

2.10 MySQL分布式架构介绍

need-to-insert-img

image.png

1. schema拆分及业务分库2. 垂直拆分-分库分表3. 水平拆分-分片

2.11 企业代表产品

360 Atlas-ShardingAlibaba  cobar MycatTDDLHeisenbergOceanusVitessOneProxy DRDS

3. MyCAT安装

3.1 预先安装Java运行环境

yum install -y java

3.2下载

Mycat-server-xxxxx.linux.tar.gzhttp://dl.mycat.io/

3.3 解压文件

tar xf Mycat-server-1.6.5-release-20180122220033-linux.tar.gz

3.4 软件目录结构

lsbin  catlet  conf  lib  logs  version.txt

3.5 启动和连接

配置环境变量vim /etc/profileexport PATH=/application/mycat/bin:$PATHsource /etc/profile启动mycat start连接mycat:mysql -uroot -p123456 -h 127.0.0.1 -P8066

4. 配置文件介绍

logs目录:wrapper.log      ---->mycat启动日志mycat.log        ---->mycat详细工作日志conf目录:schema.xml      主配置文件(读写分离、高可用、分布式策略定制、节点控制)server.xmlmycat软件本身相关的配置rule.xml 分片规则配置文件,记录分片规则列表、使用方法等

5.应用前环境准备

5.1 用户创建及数据库导入

db01:mysql-S/data/3307/mysql.sock grant all on*.*toroot@'10.0.0.%'identifiedby'123';source/root/world.sqlmysql-S/data/3308/mysql.sock grant all on*.*toroot@'10.0.0.%'identifiedby'123';source/root/world.sql

5.2 配置文件处理

cd /application/mycat/confmv schema.xml schema.xml.bakvim schema.xml<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schemaxmlns:mycat="http://io.mycat/"><schemaname="TESTDB"checkSQLschema="false"sqlMaxLimit="100"dataNode="dn1"></schema><dataNodename="dn1"dataHost="localhost1"database="wordpress"/><dataHostname="localhost1"maxCon="1000"minCon="10"balance="1"writeType="0"dbType="mysql"dbDriver="native"switchType="1"><heartbeat>select user()</heartbeat><writeHosthost="db1"url="10.0.0.51:3307"user="root"password="123"><readHosthost="db2"url="10.0.0.51:3309"user="root"password="123"/></writeHost></dataHost></mycat:schema>

6. 配置文件简单介绍

6.1 逻辑库:schema

<schemaname="TESTDB"checkSQLschema="false"sqlMaxLimit="100"dataNode="dn1"></schema>

6.2 数据节点:datanode

<dataNodename="dn1"dataHost="localhost1"database="world"/>

6.3 数据主机:datahost(w和r)

<dataHostname="localhost1"maxCon="1000"minCon="10"balance="1"writeType="0"dbType="mysql"dbDriver="native"switchType="1"><heartbeat>select user()</heartbeat><writeHosthost="db1"url="10.0.0.51:3307"user="root"password="123"><readHosthost="db2"url="10.0.0.52:3309"user="root"password="123"/></writeHost></dataHost>

7. 读写分离结构配置

vim schema.xml<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schemaxmlns:mycat="http://io.mycat/"><schemaname="TESTDB"checkSQLschema="false"sqlMaxLimit="100"dataNode="sh1"></schema><dataNodename="sh1"dataHost="oldguo1"database="world"/><dataHostname="oldguo1"maxCon="1000"minCon="10"balance="1"writeType="0"dbType="mysql"dbDriver="native"switchType="1"><heartbeat>select user()</heartbeat><writeHosthost="db1"url="10.0.0.51:3307"user="root"password="123"><readHosthost="db2"url="10.0.0.51:3309"user="root"password="123"/></writeHost></dataHost></mycat:schema>重启mycatmycat restart读写分离测试 mysql -uroot -p -h 127.0.0.1 -P8066 show variables like 'server_id'; begin; show variables like 'server_id';总结: 以上案例实现了1主1从的读写分离功能,写操作落到主库,读操作落到从库.如果主库宕机,从库不能在继续提供服务了。

8. 配置读写分离及高可用

[root@db01 conf]# mv schema.xml schema.xml.rw[root@db01 conf]# vim schema.xml<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schemaxmlns:mycat="http://io.mycat/"><schemaname="TESTDB"checkSQLschema="false"sqlMaxLimit="100"dataNode="sh1"></schema><dataNodename="sh1"dataHost="oldguo1"database="world"/><dataHostname="oldguo1"maxCon="1000"minCon="10"balance="1"writeType="0"dbType="mysql"dbDriver="native"switchType="1"><heartbeat>select user()</heartbeat><writeHosthost="db1"url="10.0.0.51:3307"user="root"password="123"><readHosthost="db2"url="10.0.0.51:3309"user="root"password="123"/></writeHost><writeHosthost="db3"url="10.0.0.52:3307"user="root"password="123"><readHosthost="db4"url="10.0.0.52:3309"user="root"password="123"/></writeHost></dataHost></mycat:schema>真正的 writehost:负责写操作的writehost  standby  writeHost  :和readhost一样,只提供读服务当写节点宕机后,后面跟的readhost也不提供服务,这时候standby的writehost就提供写服务,后面跟的readhost提供读服务测试:mysql -uroot -p123456 -h 127.0.0.1 -P 8066show variables like 'server_id';读写分离测试 mysql -uroot -p -h 127.0.0.1 -P8066 show variables like 'server_id'; show variables like 'server_id'; show variables like 'server_id'; begin; show variables like 'server_id'; 对db01 3307节点进行关闭和启动,测试读写操作

9. 配置中的属性介绍:

balance属性

负载均衡类型,目前的取值有3种:1.balance="0",不开启读写分离机制,所有读操作都发送到当前可用的writeHost上。2.balance="1",全部的readHost与standby writeHost参与select语句的负载均衡,简单的说,  当双主双从模式(M1->S1,M2->S2,并且M1与 M2互为主备),正常情况下,M2,S1,S2都参与select语句的负载均衡。3.balance="2",所有读操作都随机的在writeHost、readhost上分发。

writeType属性

负载均衡类型,目前的取值有2种:1.writeType="0",所有写操作发送到配置的第一个writeHost,第一个挂了切到还生存的第二个writeHost,重新启动后已切换后的为主,切换记录在配置文件中:dnindex.properties.2.writeType=“1”,所有写操作都随机的发送到配置的writeHost,但不推荐使用

switchType属性

-1表示不自动切换1默认值,自动切换2基于MySQL主从同步的状态决定是否切换 ,心跳语句为 show slave status

datahost其他配置

<dataHost name="localhost1"maxCon="1000"minCon="10"balance="1"writeType="0"dbType="mysql"dbDriver="native"switchType="1">maxCon="1000":最大的并发连接数minCon="10":mycat在启动之后,会在后端节点上自动开启的连接线程tempReadHostAvailable="1"这个一主一从时(1个writehost,1个readhost时),可以开启这个参数,如果2个writehost,2个readhost时<heartbeat>selectuser()</heartbeat>监测心跳

10. 垂直分表

image.png

image.png

mv  schema.xml  schema.xml.ha vim schema.xml<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schemaxmlns:mycat="http://io.mycat/"><schemaname="TESTDB"checkSQLschema="false"sqlMaxLimit="100"dataNode="sh1"><tablename="user"dataNode="sh1"/><tablename="order_t"dataNode="sh2"/></schema><dataNodename="sh1"dataHost="oldguo1"database="taobao"/><dataNodename="sh2"dataHost="oldguo2"database="taobao"/><dataHostname="oldguo1"maxCon="1000"minCon="10"balance="1"writeType="0"dbType="mysql"dbDriver="native"switchType="1"><heartbeat>select user()</heartbeat><writeHosthost="db1"url="10.0.0.51:3307"user="root"password="123"><readHosthost="db2"url="10.0.0.51:3309"user="root"password="123"/></writeHost><writeHosthost="db3"url="10.0.0.52:3307"user="root"password="123"><readHosthost="db4"url="10.0.0.52:3309"user="root"password="123"/></writeHost></dataHost><dataHostname="oldguo2"maxCon="1000"minCon="10"balance="1"writeType="0"dbType="mysql"dbDriver="native"switchType="1"><heartbeat>select user()</heartbeat><writeHosthost="db1"url="10.0.0.51:3308"user="root"password="123"><readHosthost="db2"url="10.0.0.51:3310"user="root"password="123"/></writeHost><writeHosthost="db3"url="10.0.0.52:3308"user="root"password="123"><readHosthost="db4"url="10.0.0.52:3310"user="root"password="123"/></writeHost></dataHost></mycat:schema>创建测试库和表:[root@db01 conf]# mysql -S /data/3307/mysql.sock -e "create database taobao charset utf8;"[root@db01 conf]# mysql -S /data/3308/mysql.sock -e "create database taobao charset utf8;"[root@db01 conf]# mysql -S /data/3307/mysql.sock -e "use taobao;create table user(id int,name varchar(20))";[root@db01 conf]# mysql -S /data/3308/mysql.sock -e "use taobao;create table order_t(id int,name varchar(20))"

11. MyCAT核心特性——分片(水平拆分)

分片:对一个"bigtable",比如说t3表(1)行数非常多,800w(2)访问非常频繁分片的目的:(1)将大数据量进行分布存储(2)提供均衡的访问路由分片策略:范围 range  800w  1-400w 400w01-800w取模 mod    取余数枚举 哈希 hash 时间 流水优化关联查询全局表ER分片

12 .范围分片

image.png

比如说t3表(1)行数非常多,2000w(1-1000w:sh11000w01-2000w:sh2)(2)访问非常频繁,用户访问较离散mv schema.xml schema.xml.1vim schema.xml<schema name="TESTDB"checkSQLschema="false"sqlMaxLimit="100"dataNode="sh1"><table name="t3"dataNode="sh1,sh2"rule="auto-sharding-long"/></schema><dataNode name="sh1"dataHost="oldguo1"database="taobao"/><dataNode name="sh2"dataHost="oldguo2"database="taobao"/>vim rule.xml<tableRule name="auto-sharding-long"><rule><columns>id</columns><algorithm>rang-long</algorithm></rule><function name="rang-long"class="io.mycat.route.function.AutoPartitionByLong"><property name="mapFile">autopartition-long.txt</property></function>===================================vim autopartition-long.txt0-10=011-20=1创建测试表:mysql-S/data/3307/mysql.sock-e"use taobao;create table t3 (id int not null primary key auto_increment,name varchar(20) not null);"mysql-S/data/3308/mysql.sock-e"use taobao;create table t3 (id int not null primary key auto_increment,name varchar(20) not null);"测试:重启mycatmycat restartmysql-uroot-p123456-h127.0.0.1-P8066insertintot3(id,name)values(1,'a');insertintot3(id,name)values(2,'b');insertintot3(id,name)values(3,'c');insertintot3(id,name)values(4,'d');insertintot3(id,name)values(11,'aa');insertintot3(id,name)values(12,'bb');insertintot3(id,name)values(13,'cc');insertintot3(id,name)values(14,'dd');

13. 取模分片(mod-long):

取余分片方式:分片键(一个列)与节点数量进行取余,得到余数,将数据写入对应节点vim schema.xml<table name="t4"dataNode="sh1,sh2"rule="mod-long"/>vim rule.xml<property name="count">2</property>准备测试环境    创建测试表:mysql-S/data/3307/mysql.sock-e"use taobao;create table t4 (id int not null primary key auto_increment,name varchar(20) not null);"mysql-S/data/3308/mysql.sock-e"use taobao;create table t4 (id int not null primary key auto_increment,name varchar(20) not null);"重启mycat mycat restart 测试: mysql-uroot-p123456-h10.0.0.52-P8066useTESTDBinsertintot4(id,name)values(1,'a');insertintot4(id,name)values(2,'b');insertintot4(id,name)values(3,'c');insertintot4(id,name)values(4,'d');分别登录后端节点查询数据mysql-S/data/3307/mysql.sock use taobaoselect*fromt4;mysql-S/data/3308/mysql.sock use taobaoselect*fromt4;

14. 枚举分片

t5 表id name telnum1bj12122sh222223bj33334sh444445bj5555sharding-by-intfilevim schema.xml<table name="t5"dataNode="sh1,sh2"rule="sharding-by-intfile"/>vim rule.xml<tableRule name="sharding-by-intfile"><rule><columns>name</columns><algorithm>hash-int</algorithm></rule></tableRule><function name="hash-int"class="org.opencloudb.route.function.PartitionByFileMap"><property name="mapFile">partition-hash-int.txt</property><property name="type">1</property><property name="defaultNode">0</property></function>partition-hash-int.txt 配置: bj=0sh=1DEFAULT_NODE=1columns 标识将要分片的表字段,algorithm 分片函数, 其中分片函数配置中,mapFile标识配置文件名称准备测试环境mysql-S/data/3307/mysql.sock-e"use taobao;create table t5 (id int not null primary key auto_increment,name varchar(20) not null);"mysql-S/data/3308/mysql.sock-e"use taobao;create table t5 (id int not null primary key auto_increment,name varchar(20) not null);"重启mycat mycat restart mysql-uroot-p123456-h10.0.0.51-P8066useTESTDBinsertintot5(id,name)values(1,'bj');insertintot5(id,name)values(2,'sh');insertintot5(id,name)values(3,'bj');insertintot5(id,name)values(4,'sh');insertintot5(id,name)values(5,'tj');

15 .  Mycat全局表

a  b  c  djointselectt1.name,t.xfromt1jointselectt2.name,t.xfromt2jointselectt3.name,t.xfromt3joint 使用场景:如果你的业务中有些数据类似于数据字典,比如配置文件的配置,常用业务的配置或者数据量不大很少变动的表,这些表往往不是特别大,而且大部分的业务场景都会用到,那么这种表适合于Mycat全局表,无须对数据进行切分,要在所有的分片上保存一份数据即可,Mycat 在Join操作中,业务表与全局表进行Join聚合会优先选择相同分片内的全局表join,避免跨库Join,在进行数据插入操作时,mycat将把数据分发到全局表对应的所有分片执行,在进行数据读取时候将会随机获取一个节点读取数据。 vim schema.xml<table name="t_area"primaryKey="id"type="global"dataNode="sh1,sh2"/>后端数据准备mysql-S/data/3307/mysql.sock use taobaocreate table t_area(idintnotnullprimary key auto_increment,namevarchar(20)notnull);mysql-S/data/3308/mysql.sock use taobaocreate table t_area(idintnotnullprimary key auto_increment,namevarchar(20)notnull);重启mycat mycat restart 测试: mysql-uroot-p123456-h10.0.0.52-P8066useTESTDBinsertintot_area(id,name)values(1,'a');insertintot_area(id,name)values(2,'b');insertintot_area(id,name)values(3,'c');insertintot_area(id,name)values(4,'d');

16. E-R分片

AjoinB  为了防止跨分片join,可以使用E-R模式AjoinBon  a.xx=b.yyjoinCon A.id=C.id<table name="A"dataNode="sh1,sh2"rule="mod-long"><childTable name="B"joinKey="yy"parentKey="xx"/></table>

作者:MySQL_oldguo

链接:https://www.jianshu.com/p/5e0062f6cf62

来源:简书

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,928评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,192评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,468评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,186评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,295评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,374评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,403评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,186评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,610评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,906评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,075评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,755评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,393评论 3 320
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,079评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,313评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,934评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,963评论 2 351

推荐阅读更多精彩内容