mycat分片规则

1:分片规则配置文件rule.xml 介绍

PS: 配置文件都沿用上一篇mycat入门配置
1.1 Funcation 标签
  • name属性指定算法的名称,在该文件中唯一。
  • class属性对应具体的分片算法,需要指定算法的具体类。
  • property属性根据算法的要求指定。
<function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong">
    <property name="mapFile">autopartition-long.txt</property>
</function>
1.2 tableRule标签
  • name 属性指定分片规则的名称,要求唯一
  • rule 属性指定分片算法的具体内容,包含columns 和clgorithm 两个属性
  • columns 属性指定对应表中用于分片的列名
  • algorithm 属性对应function 中指定的算法的名称
<tableRule name="mod-long">
    <rule>
        <columns>userID</columns>
        <algorithm>mod-long</algorithm>
    </rule>
</tableRule>
2:分片分类 - 连续分片 和离散分片

两种方式优缺点对比

分片 连续分片 离散分片
优点 扩容无需迁移数据,
范围条件查询消耗资源少
并发访问能力增强
范围条件查询性能提升
缺点 存在数据热点的可能性,
并发访问能力受限于单一或者少量DataNode
数据扩容比较困难,
涉及到数据迁移问题数据库连接消耗比较多
2.1:连续分片
  • 自定义数字范围分片
  • 按日期分片
  • 按单月小时分片
  • 按自然月分片
2.1.1: 自定义数字范围分片

字段为数字类型

    <schema name="db_user" checkSQLschema="true" sqlMaxLimit="100">
        <table name="data_dictionary" type="global" dataNode="db_user_dataNode1,db_user_dataNode2" primaryKey="dataDictionaryID"/>
        <table name ="users" dataNode="db_user_dataNode$1-2" primaryKey="userID" rule="auto-sharding-long">
            <childTable name="user_address"  joinKey="userID" parentKey="userID" primaryKey="addressID" />
        </table>

    </schema>
rule.xml配置
  • rang-long 函数中的mapFile 表示规则配置文件的路径,默认是在conf 目录下
  • defaultNode为超过范围后的默认节点。
<tableRule name="auto-sharding-long">
    <rule>
        <columns>userID</columns>
        <algorithm>rang-long</algorithm>
    </rule>
</tableRule>

<function name="rang-long"class="io.mycat.route.function.AutoPartitionByLong">
    <property name="mapFile">autopartition-long.txt</property>
   <property name="defaultNode">0</property>
</function>

配置文件autopartition-long.txt
  • ps 注意一下,这里的配置的节点数要小于 schema里的table的dataNode节点个数 ,否则启动mycat 会报错
# range start-end ,data node index
# K=1000,M=10000.
0-500M=0
500M-1000M=1

测试sql:

INSERT INTO `users`(userID,userName,phoneNum,age,ddID,createTime,lastUpdate) VALUES ('1000', '张1', '13611111111', '31', '2', '2018-10-10 13:39:41', '2018-10-10 13:39:41');
INSERT INTO `users`(userID,userName,phoneNum,age,ddID,createTime,lastUpdate) VALUES ('2000', '王二', '13622222222', '32', '5', '2018-10-10 13:39:41', '2018-10-10 13:39:41');
INSERT INTO `users`(userID,userName,phoneNum,age,ddID,createTime,lastUpdate) VALUES ('6000000', '李三', '13633333333', '33', '3', '2018-10-10 13:39:41', '2018-10-10 13:39:41');
INSERT INTO `users`(userID,userName,phoneNum,age,ddID,createTime,lastUpdate) VALUES ('7000000', '赵四', '13644444444', '34', '1', '2018-10-10 13:39:41', '2018-10-10 13:39:41');
INSERT INTO `users`(userID,userName,phoneNum,age,ddID,createTime,lastUpdate) VALUES ('20000000', '田五', '13655555555', '35', '3', '2018-10-10 13:39:41', '2018-10-10 13:39:41');

到这里,按范围分片接结束了,查看数据库,会发现已经按照对应的规则插进对应的分片当中了

2.1.2 按日期分片

根据时间类型字段,按月分片

修改schema.xml 文件
<schema name="db_user" checkSQLschema="true" sqlMaxLimit="100">
        <table name="data_dictionary" type="global" dataNode="db_user_dataNode1,db_user_dataNode2" primaryKey="dataDictionaryID"/>
        <table name ="users" dataNode="db_user_dataNode$1-2" primaryKey="userID" rule="sharding-by-month">
            <childTable name="user_address"  joinKey="userID" parentKey="userID" primaryKey="addressID" />
        </table>

    </schema>

修改rule.xml 文件

ps : 如果是按月分片的问题,如果插入的月份超过了节点数,则就会插入报错,而且只能插入规则中指定的同一年,比如规则中开始是2015-01-01 那就不能插入2016年

<function name="partbymonth"
        class="io.mycat.route.function.PartitionByMonth">
        <property name="dateFormat">yyyy-MM-dd hh:mm:ss</property>
        <property name="sBeginDate">2015-01-01 00:00:00</property>

    </function>
测试sql
INSERT INTO `users`(userID,userName,phoneNum,age,ddID,createTime,lastUpdate) VALUES ('1000', '张1', '13611111111', '31', '2', '2015-01-01 13:39:41', '2018-10-10 13:39:41');

INSERT INTO `users`(userID,userName,phoneNum,age,ddID,createTime,lastUpdate) VALUES ('2000', '王二', '13622222222', '32', '5', '2015-2-10 13:39:41', '2018-10-10 13:39:41');

还有按天分片 ,按小时分片,这里我就不在多介绍了,可以百度一下
3:离散分片, 这里只做一致性hash 分片介绍

离散分片规则

  • 枚举分片
  • 程序制定分区分片
  • 十进制求模分片
  • 字符串hash解析分片
  • 一致性hash分片
3.1 一致性hash分片

一致性hash 有效的解决了分布式数据的扩容问题,优点在于扩容时迁移数据量比较少,前提是分片节点比较多,虚拟节点分配多些。虚拟节点分配的少就会造成数据分布不够均匀。但如果实际分片数据比较少,迁移量也会比较多。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,723评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,003评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,512评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,825评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,874评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,841评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,812评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,582评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,033评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,309评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,450评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,158评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,789评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,409评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,609评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,440评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,357评论 2 352

推荐阅读更多精彩内容