从PAXOS到ZOOKEEPER分布式一致性原理与实践:Leader选举

本文内容为《从PAXOS到ZOOKEEPER分布式一致性原理与实践》一书学习笔记。本文主要概述第七章选举部分的内容。

Leader选举隐式条件:ZooKeeper的集群规模至少是2台机器。以3台机器组成的集群为例。在服务器集群初始化阶段:有1台服务器(假设此机器myid为1,称其为Server1)启动时,是无法进行Leader选举的。当第2台服务器(myid为2,Server2)启动后,两台机器可以互相通信,都试图找到一个Leader,进入Leader选举流程。

服务器启动时的Leader选举:

  1. 每个Server发出一个投票。由于是初始化阶段,Server1和Server2都会选自己作Leader并投票。投票元素包括所推选的服务器的myid和ZXID,以(myid , ZXID)形式表示。所以Server1的投票是(1,0);Server2的投票是(2,0),然后将这个投票发给集群中所有其他机器。

  2. 接收来自各个服务器的投票。每个服务器都会接受来自其他服务器的投票,并判断该投票的有效性,例如是否是本轮投票,是否来自LOOKING状态的服务器。

  3. 处理投票(即再次投票)。接受到来自其他服务器的投票后,每台服务器都会变更投票。变更规则:先比较ZXID,ZXID大的优先作为Leader;ZXID相同则比较myid,myid较大的作为Leader。对于Server1来说,自己的投票是(1,0),接受的投票是(2,0);两者ZXID相同,而接受到的投票的myid是2,更大,所以Server1会更新自己的投票为(2,0)并重新发出去,Server2则不需要更新投票信息,将上次投票信息再发送一次即可。

  4. 统计投票。每次投票后,服务器都会统计所有投票,看是否已经有过半的机器接收到相同的投票信息(过半指大于集群数量的一半,即大于或等于(n/2+1))。将该机器作为Leader。

  5. 改变服务器状态。确定Leader后,每个服务器都会更新自己的状态:如果是Follower,变更为FOLLOWING,如果是Leader,变更为LEADING。

服务器运行期间的Leader选举:

ZooKeeper集群正常运行过程中,Leader选出一般不再变化,即使集群中有非Leader机器挂了或有新集群加入Leader也不会影响Leader。但Leader如果挂了就需要新一轮选举。

  1. 变更状态。Leader挂了后,余下的非Observer服务器都会将自己的服务器状态变更为LOOKING,然后开始Leader选举。

  2. 每个Server发出一个投票。运行期间每个机器上的ZXID可能不同。但第一轮投票都是投给自己。

  3. 接收来自各个服务器的投票。

  4. 处理投票。

  5. 统计投票。

  6. 改变服务器状态。

选举过程底层实现:

涉及术语解释:

  1. SID:服务器ID,唯一标识一台ZooKeeper集群中的机器,值和myid一致。

  2. ZXID:事务ID,唯一标识一次服务器状态的变更。

  3. Quorum:过半机器数。

  4. ZooKeeper底层采用的是基于TCP的FastLeaderElection算法实现。底层网络IO部分是QuorumCnxManager管理选举之间的通信(每台服务器启动的时候,都会启动一个QuorumCnxManager)。在QuorumCnxManager这个类内部维护了一系列队列:

a. recvQueue:消息接收队列。存放从其他服务器接收到的消息

b. queueSendMap:消息发送队列,保存待发送的消息。它是一个Map,按照SID分组形成队列集合;为集群中的每台机器分配了一个单独队列,保证各台机器之间的消息发送互不影响。(按照SID分组定义:假设集群中除自身外还有4台服务器,那么当前服务器会为这4台服务器分别创建一个发送队列,互不干扰。)

c. senderWorkerMap:发送器集合。同样按照SID分组。每个消息发送器与远程ZooKeeper服务器是一对一关系。

d. lastMessageSent:最近发送过的消息。同样按照SID分组。为每个SID保留最近发送过的一个消息。

建立连接:所有机器都需要两两建立起连接。为了避免两台服务器之间重复创建TCP连接。只允许SID大的服务器主动和其他服务器建立连接。当前服务器接收到连接请求后如果发现自己的SID值比远程服务器更大,会断开当前连接,自己去和远程服务器建立连接。

消息接收与发送:消息的接收:ZooKeeper会为每个远程服务器(集群中处了自己其他的服务器)分配一个单独的消息接收器RecvWorker。每个RecvWorker不断从TCP连接中读取消息,并保存到recvQueue里去。消息发送:同上,每个服务器单独有消息发送器SendWorker,SendWorker不断从消息发送队列(自:queueSendMap)获取一个消息发送即可,同时将这个消息放入lastMessageSent。有个细节:一旦ZooKeeper发现针对当前远程服务器的的消息发送队列为空,那么此时从lastMessageSent取出一个最近未发送过的消息来再次发送。这个细节主要是为了解决这么一类分布式问题:接收方在消息接收前或接收到消息后服务器挂掉了,导致消息尚未被正确处理。同时ZooKeeper能保证接收方在处理消息的时候,会对重复消息进行正确的处理。

选票管理
外部投票:其他服务器发来的投票。
内部投票:服务器自身当前的投票。

选票管理

底层接收(QuorumCnxManager)数据,上层则进行选票管理。接收器WorkerReceiver(我的理解是上面的RecvWorker)会不断地从QuorumCnxManager获取从其他服务器发来的选举消息,并将其转换成一个选票,然后保存到recvQueue队列中去,再由具体选举算法得出选票放入sendqueue选票发送队列,由WorkSender发送至底层网络IO发送给其他服务器(我的理解是上面的SendWorker)。

统计投票说明:最后进行选票统计时,是对自己内部选票的统计(自己投的票)是否过半认可,若认可,则根据投票内容决定自己是Leader还是Follower。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,752评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,100评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,244评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,099评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,210评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,307评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,346评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,133评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,546评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,849评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,019评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,702评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,331评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,030评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,260评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,871评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,898评论 2 351

推荐阅读更多精彩内容