分布式ID生成实现

原理

本人实现:
https://github.com/lesline/id-gen
本人参照snowflake算法和其它博客(见下面参考)对分布式ID做了实现:
分布式ID=时间(年月日时分秒毫妙 17)+自增序列(6)+服务位(3)
实现原理:主要参考snowflake,见下图:

1.jpg

实现主要注意两点:

  1. 工作机器位(WORKID)的获取,
  2. 时钟回拨问题
  3. 重启时发生回拨的情况

问题解决

问题一:使用ZooKeeper生成WORKID:

这里我们使用 ZooKeeper 持久顺序节点特性来配置维护 WORKID,服务启动顺序如下:
1、启动发号器服务,连接 ZooKeeper, 检查根节点 id_generator 是否存在,如果不存在就创建系统根节点。
2、 检查根节点下当前机器是否已经注册过 (是否有该顺序子节点)。 如果有注册,直接取回自己的 WORKID。如果没注册,在根节点下创建一个持久顺序节点,取回顺序号做 WORKID。
3、一旦取回 WORKID,缓存在本地文件中,后续直接使用,不再与 ZooKeeper 进行任何交互,此方案对 ZooKeeper 依赖极小。

问题二: 时钟回拨及闰秒问题

由于时钟回拨会获取之前的时间,所以会产生相同的流水号。
解决时钟回拨问题有三种方式:

  1. 关闭NTP,不让电脑时钟同步
  2. 时钟回拨发生时,如果回拨较小则等待一段时间后再可用
  3. 时钟回拨发生时,获取新的workID

问题三: 重启时发生回拨的情况

重启获取新的workID

NTP和闰秒

NTP

是网络时间协议(Network Time Protocol),它是用来同步网络中各个计算机的时间的协议。许多计算机系统使用NTP来保持与世界原子钟的同步,当一秒被增加后,一些系统根本不知道如何处理。

闰秒

对时区、各种时间(gmt,utc,unix时间戳)的理解BevisWu新浪博客
20145212 《Java程序设计》第7周学习总结 - 20145212罗天晨 - 博客园
闰秒原理及其对计算机系统影响 - CSDN博客

格林威治时间(GMT):通过观察太阳而得,因为地球公转轨道为椭圆形且速度不一,本身自传减速而造成误差。
世界时(UT):可以简单的理解为以地球自转为标准的计时。
原子时(TAI):国际原子时
世界协调时(UTC-Universal Time Coordinated):保持TAI和UT时间误差不要过大采用了闰秒修正。
重点总结:
1.即使标注为GMT时间,实际上谈到时间指的是UTC时间。
2.秒的单位定义是基于TAI,也就是铯原子辐射振动次数。
3.UTC考虑了地球自转越来越慢而又闰秒修正,确保哦UTC与UT相差不会超过0.9秒。
4.Unix时间是1970年1月1日00:00:00为起点而经过的秒数,不考虑闰秒。

闰秒是一个一秒的调整,偶尔应用到协调世界时(UTC),以保持其时间接近平均太阳时间或世界时。没有这样的校正,地球旋转计算的时间会偏离原子时间。
具体来说,在所选择的UTC日期(一个月的最后一天,通常是6月30日或12月31日)的23:59:59和下一天的00:00:00之间插入正的闰秒。此闰秒在UTC时钟显示为23:59:60。负闰秒会在所选月份的最后一天的第二个23:59:59,该日期的23:59:58将紧接在下一天的00:00:00(负闰秒就很难见到啦。除非你现在开始从宇宙推地球让他转快点)。

闰秒在Java中的实现

Unix时间戳,是在unix系统里普遍采用的,表现形式是从世界协调时(UTC)1970年1月1日0时0分0秒起至现在的总秒数,不考虑闰秒。​
所谓不考虑闰秒,意思是当发生正闰秒时,闰秒发生的那一秒的unix时间与闰秒的下一秒​的unix时间相同。

java.util.Date类的getTime​()方法,一定要考虑时区
此方法返回给定时间点距离1970-01-01 :00:00:00 GMT的毫秒数。请特别注意这里计算的时间点是GMT+0这个时区的1970-01-01 :00:00:00时间点。
::由于不考虑润秒,所以 System.currentTimeMillis()只返回1970年1月1日0时0分0秒起至现在的总毫秒数,如果发生润秒,System.currentTimeMillis()值不变,(闰秒发生的那一秒的unix时间与闰秒的下一秒​的unix时间相同)::

[image:38F9591F-9599-4366-8C9E-3F75DD3E95B0-7295-00003D134881093C/F73D3680-228D-4934-9AC6-C38A32CB2ED3.png]

可优化部分:

时钟回拨发生时,如果回拨较小则等待一段时间后再可用,回拨较大时,获取新的workID。


参考:
Scala版snowflake实现:GitHub - twitter/snowflake: Snowflake is a network service for generating unique ID numbers at high scale with some simple guarantees.
java版snowfake实现:GitHub - shardingjdbc/sharding-jdbc: Distributed database middleware
io.shardingjdbc.plugin.keygen.HostNameKeyGenerator
io.shardingjdbc.core.keygen.DefaultKeyGenerator
分布式ID生成系统怎么做?
[关于分布式ID的一些思考](https://mp.weixin.qq.com/s/CeQpB3uVhN7qnaTm7KiERw
zookeeper curator选主(Leader) - 扎心了老铁 - 博客园

Leaf——美团点评分布式ID生成系统 - 美团技术团队
ID生成策略——SnowFlake

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 文章转载自公众号“达达京东到家技术”。 背景 在分布式系统中,经常需要对大量的数据、消息、http 请求等进行唯一...
    淡淡的橙子阅读 6,137评论 1 41
  • 本文主要介绍在一个分布式系统中, 怎么样生成全局唯一的 ID 一, 问题描述 在分布式系统存在多个 Shard 的...
    hanayona阅读 2,017评论 0 5
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,860评论 18 139
  • 你是我的平行线吗? 我们一直保持着 心酸的距离 不远不近 但 我想靠近你 所以 你不是我的平行线了 可是 在相交的...
    大牙妹的摇摆青春阅读 210评论 0 2
  • 我早已失去了知觉 于是决绝所有声音 也会抵触所有接近 无论石头会生长 或者云在脚下 原谅我 自此以后 无法据实相告...
    _Gun阅读 213评论 0 4