分布式ID生成方案汇总


1、目标

1.1、全局唯一

不能出现重复的ID,全局唯一是最基本的要求。

1.2、趋势有序

业务上分页查询需求,排序需求,如果ID直接有序,则不必建立更多的索引,增加查询条件。
而且Mysql InnoDB存储引擎主键使用聚集索引,主键有序则写入性能更高。

1.3、高可用

ID是一条数据的唯一标识,如果ID生成失败,则影响很大,业务执行不下去。所以好的ID方案需要有高可用。

1.4、信息安全

ID虽然趋势有序,但是不可以被看出规则,免得被爬取信息。
了解到一个有意思的事情:基于MAC地址生成UUID的算法造成的MAC地址泄露,这个漏洞曾被用于寻找梅丽莎病毒的制作者位置。

2、常见方案介绍

2.1、UUID

UUID(Universally Unique Identifier)是最简单的生成方案了:

UUID.randomUUID().toString()

生成形如:e811b49b-9ac1-47dc-8ab9-98fa7dd861d0的8-4-4-4-12的字符串。

优点
  • 简单
  • 性能好
  • 全球唯一
缺点
  • 无序
  • 不能标识出此ID的含义,不可读。
  • 字符串太长且无序,作为MySQL主键,影响性能。

2.2、snowflake方案

snowflake是twitter开源的分布式ID生成算法,核心思想是:一个Long类型的ID,其中41bit作为毫秒数,10bit作为机器码,12bit作为毫秒内序列号。


优点
  • 毫秒数在高位,自增序列在低位,ID趋势递增。
  • 以服务方式部署,可以做高可用。
  • 根据业务分配bit位,灵活。
缺点
  • 每台机器的时钟不同,当时钟回拨可能会发生重复ID。
  • 当数据量大时,需要对ID取模分库分表,在跨毫秒时,序列号总是归0,会发生取模后分布不均衡。

2.3、基于数据库Flickr方案

这个方案的思路时采用了MySQL自增长ID的机制(auto_increment+auto_increment_offset)。

通过使用以下SQL获取不同的ID:

begin;
REPLACE INTO Tickets64 (stub) VALUES ('a');
SELECT LAST_INSERT_ID();
commit;

在分布式系统中,多部署几台Mysql,每台机器的初始值不同,步数与机器数量相等。
假设部署N台机器,步数为N,每台机器初始值依次为:0、1、2...N-1,架构如下:


优点
  • 简单,利用现有数据库架构。
  • ID自增
缺点
  • 依赖DB,配置主从复制可以增加可用性,但是当主从切换时可能会导致ID重复。
  • 水平扩展困难,因为步数与机器数相同。
  • 每次获取ID都需要读写数据库。

2.4、基于Redis生成

基于redis的lua也可以做Flickr方案,生成的ID为64位:

  • 41bit存放时间(毫秒)
  • 12bit存放逻辑分片ID
  • 10bit存放自增长ID.

最终ID:((second * 1000 + microSecond / 1000) << (12 + 10)) + (shardId << 10) + seq;

也可以直接使用INCR或者HINCRBY来做ID生成方案,因为Redis的单线程原子性,性能也很不错。

优点
  • ID递增
  • 性能好
缺点
  • 需要依赖Redis。
  • 需要考虑Reids宕机等问题。

3、开源产品

3.1、百度uid-generator

uid-generator是基于Twitter开源的snowflake算法实现,需要依赖Mysql。
Github: baidu/uid-generator
具体文档参考Github。

3.2、美团Leaf

Leaf——美团点评分布式ID生成系统
Github: Meituan-Dianping/Leaf

支持号段模式与snowflake模式。

3.3、小米chronos

Github: XiaoMi/chronos
Chronos依赖ZooKeeper,ChronosServer运行时会启动一个Thrift服务器。

参考

【分布式全局ID】细聊分布式ID生成方法
ID生成器,Twitter的雪花算法(Java)
Leaf——美团点评分布式ID生成系统
万亿级调用系统:微信序列号生成器架构设计及演变
使用Redis实现高并发分布式序列号生成服务
分布式ID方案有哪些以及各自的优劣势,我们当如何选择
分布式ID生成器解决方案
分布式全局序列ID方案之Redis优化方案
分布式唯一ID极简教程

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,542评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,596评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,021评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,682评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,792评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,985评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,107评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,845评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,299评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,612评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,747评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,441评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,072评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,828评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,069评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,545评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,658评论 2 350

推荐阅读更多精彩内容