Raft之日志复制

日志复制

问题

  • 目的是什么? 保持集群中大多数服务器的状态一致。
  • 复制过程的关键点是什么?处理日志不一致。

日志

88Db8O.png

日志由一个个顺序编号的日志项组成。每个日志项都存储了:

  • 领导者接收到这个日志项时的任期编号。它可以用来探测不同服务器日志间的不一致,也确保了一些属性(待续)。
  • 一个状态机命令。
  • 一个整型索引,指定日志项在日志中的位置。

流程

领导者被选举出来后,就开始处理客户端的请求。

  • 每个客户请求里都包含了一个命令,这个命令将被可复制状态机执行。
  • 领导者把这个命令作为一个新的日志项追加到日志中,然后并行地发送 AppendEntries 消息给其余的每一台服务器,把新的日志项复制给它们。
  • 当这个日志项被安全地复制后(即领导者接收到大多数服务器的正确响应),领导者将这个日志项应用到自己的状态机,然后返回执行结果给客户端。
  • 然后领导者发送 AppendEntries 消息通知其他服务器,将这个日志项应用到各自的状态机。
  • 如果跟随者宕机或网络包丢失,领导者会无限重发 AppendEntries 消息(即使它已经响应了客户端),直到所有的跟随者最终存储了这个日志项。

客户端怎么知道哪台服务器是领导者呢?
其实,客户端无须知道谁是领导者,只要把请求发到集群中的任何一台服务器就行。一台服务器接收到请求后,先检查自己是不是领导者,如果不是,就把请求转发给领导者。

已提交日志

一旦日志项已经被领导者复制给了大多数服务器,我们称这个日志项是已提交的。这个也会提交所有先前的日志项,包括以前的领导者创建的。(因为可能出现大多数服务器已复制该日志项,但是还没提交,领导者就宕机的情况

Raft保证已提交的条目是持久化的并且将最终会被所有可用的状态机执行。

领导者会跟踪已提交的日志项的最大索引。它会把这个索引包含在未来的 AppendEntries 消息中,以至于别的服务器最终能发现。一旦一个跟随者发现一个日志项已经被提交了,它就可以应用这个日志项到自己的状态机。

日志匹配特性

Raft 维护了下列特性,它们一起构成了 Log Matching Property,保证了不同服务器日志的高度一致性。

  • 如果在不同日志中的两个条目有相同的索引和任期,那么它们保存了相同的命令。
  • 如果在不同日志中的两个条目有相同的索引和任期,那么之前的所有条目也是相同的。

第一个特性来自于事实:在一个给定任期内,一个领导者在一个给定日志索引最多创建一个条目,并且日志项不会改变它们在日志中的位置。

第二个特性由 AppendEntries 消息执行的一致性检查来保证。当发送 AppendEntries 消息时,领导者会在消息中包含这个新的日志项前面一个日志项的索引和任期。如果跟随者没有在自己的日志中发现有相同的索引和任期的日志项,它就拒绝这个新的日志项。这个一致性检查表现的像归纳法步骤:日志的初始状态满足日志匹配特性,而当日志扩展时,一致性检查保证了日志匹配特性成立。因此,任何时候 AppendEntries 消息返回成功,领导者就知道跟随者的日志跟自己的日志在这个新的日志项及新的日志项之前是保持一致。

日志不一致

在正常运行时,领导者和跟随者的日志保持一致。但是,领导者宕机会使日志不一致,因为它可能还没有把自己日志中的所有条目复制给其他服务器。随着一系列领导者和跟随者宕机,这些不一致会互相混合。可能出现下列情况:

  • 跟随者缺少领导者的某些日志项。
  • 跟随者的日志中存在领导者没有的日志项。
  • 跟随者同时出现以上两种情况。
8dQr7V.png

在Raft中,领导者通过强制跟随者复制自己的日志来解决日志不一致的问题。这意味着跟随者日志中跟领导者冲突的日志项会被来自领导者的日志项覆盖。这个方法和选举中的一个约束来保证这样做是安全的。

  • 领导者必须为每个跟随者维护一个 nextIndex,它是领导者发送给那个跟随者的下一个日志项的索引。
  • 当一个领导者出现后,它初始化所有跟随者的 nextIndex 为自己日志中最后一个日志项索引的下一个索引。
  • 如果跟随者的日志跟领导者的不一致,那么下一个 AppendEntries 消息的一致性检查就会失败。当这个消息被拒绝后,领导者就会减少这个跟随者的 nextIndex ,然后再尝试发送 AppendEntries 消息。
  • 最终,nextIndex 会到达一个点,领导者和跟随者这个点之前的日志都是相同的。
  • 这之后的 AppendEntries 消息都将会成功(因为两者的日志相同,能通过一致性检查),跟随者日志中跟领导者冲突的日志项会被移除,并且将领导者的日志追加到跟随者的日志中(如果有的话)。一旦AppendEntries 消息成功,跟随者的日志和领导者的日志就会保持一致(不懂就参考日志匹配特性的第二个特性)。
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,922评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,591评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,546评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,467评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,553评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,580评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,588评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,334评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,780评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,092评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,270评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,925评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,573评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,194评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,437评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,154评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,127评论 2 352