stringhash -> PartitionByString

当分片索引不是纯整型的字符串时,只接受整型的内置hash算法是无法使用的。为此,stringhash按照用户定义的起点和终点去截取分片索引字段中的部分字符,根据当中每个字符的二进制unicode值换算出一个长整型数值,然后就直接调用内置hash算法求解分片路由:先求模得到逻辑分片号,再根据逻辑分片号直接映射到物理分片。建议在阅读本分片算法前,先阅读hash算法章节。

PartitionByString工作示意图
  1. 用户需要在rule.xml中定义partitionLength[]和partitionCount[]两个数组和hashSlice二元组。
  2. 在DBLE的启动阶段,点乘两个数组得到模数,也是逻辑分片的数量
  3. 并且根据两个数组的叉乘,得到各个逻辑分片到物理分片的映射表(物理分片数量由partitionCount[]数组的元素值之和)
  4. 此外根据hashSlice二元组,约定把分片索引值中的第4字符到第5字符(字符串以0开始编号,编号3到编号4等于第4字符到第5字符)字符串用于“字符串->整型”转换
  5. 在DBLE的运行过程中,用户访问使用这个算法的表时,WHERE子句中的分片索引值会被提取出来,取当中的第4个字符到第5字符,送入下一步
  6. 设置一个初始值为0的累计值,逐个取字符,把累计值乘以31,再把这个字符的unicode值当成长整型加入到累计值中,如此类推直至处理完截取出来的所有字符,此时的累计值就能够代表用户的分片索引值,完成了“字符串->整型”的转换
  7. 对上一步的累计值进行求模,得到逻辑分片号
  8. 再根据逻辑分片号,查映射表,直接得到物理分片号
  • 开发注意点

    • 【分片索引】1,必须是字符串
    • 【分片索引】2,最大物理分片配置方法是,让partitionCount[]数组和等于2880,例如“<property name="partitionLength">1</property><property name="partitionCount">2880</property>”或“<property name="partitionLength">1,1</property><property name="partitionCount">1440,1440</property>”
    • 【分片索引】3,最小物理分片配置方法是,让partitionCount[]数组和等于1,例如“<property name="partitionLength">2880</property><property name="partitionCount">1</property>”
    • 【分片索引】4,partitionLength和partitionCount被当做两个逗号分隔的一维数组,它们之间的点乘必须在[1, 2880]范围内
    • 【分片索引】5,partitionLength和partitionCount的配置对顺序敏感,“<property name="partitionLength">512,256</property><property name="partitionCount">1,2</property>”和“<property name="partitionLength">256,512</property><property name="partitionCount">2,1</property>”是不同的分片结果
    • 【分片索引】6,分片索引字段长度小于用户指定的截取长度时,截取长度会安全减少到符合分片索引字段长度
    • 【数据分布】1,分片索引字段截取越长则越有利于数据均匀分布
    • 【数据分布】2,分片索引字段的内容重复率越低则越有利于数据均匀分布
  • 运维注意点

    • 【扩容】1,预先过量分片,并且不改变partitionCount和partitionLength点乘结果,也不改变截取设置hashSlice时,可以避免数据再平衡,只需进行涉及数据的迁移
    • 【扩容】2,若需要改变partitionCount和partitionLength点乘结果,或,改变截取设置hashSlice时,需要数据再平衡
    • 【缩容】1,预先过量分片,并且不改变partitionCount和partitionLength点乘结果,也不改变截取设置hashSlice时,可以避免数据再平衡,只需进行涉及数据的迁移
    • 【缩容】2,若需要改变partitionCount和partitionLength点乘结果,或,改变截取设置hashSlice时,需要数据再平衡
  • 配置注意点

    • 【配置项】1,在rule.xml中,可配置项为<property name="partitionLength">、<property name="partitionCount">和<property name="hashSlice">
    • 【配置项】2,在rule.xml中配置<property name="partitionLength">标签,内容形式为“<物理分片持有的虚拟分片数>[,<物理分片持有的虚拟分片数>,...<物理分片持有的虚拟分片数>]”,<物理分片持有的虚拟分片数>必须是整型,<物理分片持有的虚拟分片数>从左到右与同顺序的<物理分片数>对应,partitionLength和partitionCount的点乘结果必须在[1, 2880]范围内
    • 【配置项】3,在rule.xml中配置<property name="partitionCount">标签,内容形式为“<物理分片数>[,<物理分片数>,...<物理分片数>]”,其中<物理分片数>必须是整型,<物理分片数>按从左到右的顺序与同顺序的<物理分片持有的虚拟分片数>对应,物理分片的编号从左到右连续递进,partitionLength和partitionCount的点乘结果必须在[1, 2880]范围内
    • 【配置项】4,partitionLength和partitionCount的语义是:持有partitionLength[i]个虚拟分片的物理分片有partitionCount[i]个,例如,“<property name="partitionLength">512,256</property><property name="partitionCount">1,2</property>”的语义是“持有512个逻辑分片的物理分片有1个,紧随其后,持有256个逻辑分片的物理分片有2个”
    • 【配置项】5,partitionLength和partitionCount都对书写顺序敏感,例如,“<property name="partitionLength">512,256</property><property name="partitionCount">1,2</property>”的分片结果是“第一个物理分片持有头512个逻辑分片,第二个物理分片持有紧接着的256个逻辑分片,第三个物理分片持有最后256个逻辑分片”,相对的,“<property name="partitionLength">256,512</property><property name="partitionCount">2,1</property>”的分片结果则是“第一个物理分片持有头256个逻辑分片,第二个物理分片持有紧接着的256个逻辑分片,第三个物理分片持有最后512个逻辑分片”
    • 【配置项】6,partitionLength[]的元素全部为1时,这时候partitionCount数组和等于partitionLength和partitionCount的点乘,物理分片和逻辑分片就会一一对应,该分片算法等效于直接取余
    • 【配置项】7,在rule.xml中配置<property name="hashSlice">标签,从分片索引字段的第几个字符开始截取到第几个字符:若希望从首字符开始截取k个字符(k为正整数),配置的内容形式可以为“0:k”、“k”或“:k”;若希望从末字符开始截取k个字符(k为正整数),则配置的内容形式可以为“-k:0”、“-k”或“-k:”;若希望从头第m个字符起算截取n个字符(m和n都是正整数),则先计算出i=m-1和j=i+n-1,配置的内容形式为“i:j”;若希望从尾第m个字符起算截取从尾算起的n个字符(m和n都是正整数),则先计算出i=-m+n-1,配置的内容形式可以为“-m:i”;若希望不截取,则配置的内容形式可以为“0:0”、“0:”、“:0”或 “:”
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,390评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,821评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,632评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,170评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,033评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,098评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,511评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,204评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,479评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,572评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,341评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,893评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,171评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,486评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,676评论 2 335

推荐阅读更多精彩内容

  • 这是先求模得到逻辑分片号,再根据逻辑分片号直接映射到物理分片的一种散列算法。 用户需要在rule.xml中定义pa...
    john_zhong阅读 935评论 0 0
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,495评论 18 139
  • MySQL技术内幕:InnoDB存储引擎(第2版) 姜承尧 第1章 MySQL体系结构和存储引擎 >> 在上述例子...
    沉默剑士阅读 7,357评论 0 16
  • 墙头马上 文/薛蔷 你骑着那匹瘦马 望着我依靠在低矮的墙头 痴傻的等候 数不尽多少 梦中的浅笑、回眸 仿佛层层珠帘...
    薛蔷阅读 418评论 4 2
  • 薛兆丰老师提出问题:是到底该不该让孩子在童话故事里面长大? 一、我的思考 在我看来,童话故事是孩子点燃梦想之灯的来...
    辛平阅读 1,054评论 0 3