Paxos学习

本文是《循序渐进分布式一致性算法》第一篇-paxos。写这一篇也是有些战战兢兢。自己只是看了一些文章跟部分源码实现,简单总结一下自己学习之后的理解,以及学习过程中用到的一些资料。如有不对,请指出。
写本文之前,我在构思按照什么思路进行展开。 想了好几个,最终按照 “如果面试官让你介绍paxos,你会怎么讲?” 这个思路展开。如下几点讲解:

paxos 为了解决什么问题
paxos之前有没有一些其他方案?
为什么非要paxos?
paxos 算法内容
paxos 的工程实现

1 paxos 为了解决什么问题

Paxos 算法的目的就是确定分布式系统中的一个不可变变量的值。并且一旦确定,将不再更改,并且可以被获取到。

我们想一下,在分布式系统中,为了达成上述要求,应该要解决那些问题呢?

  • 系统有多个存储的节点,这些节点之间的数据要保持一致。
  • 系统有多个写入的节点,这些写入的节点会存在并发,如何确定由哪个节点写入?
  • 多个写入节点可能会出现故障
  • 多个存储节点也可能出现故障,但是要保证半数以上的存储节点是可用并且值是一致的。

(存储跟决定选择哪个数据的节点在paxos中叫acceptor, 写入的节点称作 proposer)

2 paxos之前有没有一些其他方案?

针对上面提到的几个问题,我们想一下几个特殊场景的解决方案。

2.1 one acceptor multi proposer --互斥锁

我们可以让多个proposer去争夺互斥锁来决定,谁来写入。那么这个锁的决定权有acceptor决定。这样就解决了多个proposer并发的问题。
这种方案会有问题吗?
比如一个proposer抢到了锁,但是在执行第二阶段实际写入数据(后面paxos中称之为提议阶段)阶段,这个proposer 挂了,那么这就悲剧了,因为这个proposer抢到了锁但是不能写入,而其他proposer又抢不到锁,系统就悲剧了。这种方案不允许proposer故障。

2.2 one acceptor , multi proposer--抢占式

通过引入抢占式访问权,acceptor可以让某个proposer获取到的访问权失效,之后将访问权发放给其他proposer。

2.2.1 acceptor

存储了两种状态
(1)当前var的取值 (accepted_epoch, accepted_value)
其中accepted_epoch 就是 proposer的编号, accepted_value 是已经被确认的值。
(2)最新发放访问权的epoch(latest_prepared_epoch) 就是当前接收到的最大的proposer的编号。
prepare阶段需要做的事情
只接收比latest_prepared_epoch更大的proposer的编号;
记录当前的latest_prepared_epoch = 更大的proposer的编号, 但是var 是返回当前的值(这样保证了“后者认同前者”)。
accept阶段需要做的事情
验证latest_prepared_epoch = prepared_epoch;
设置 (accepted_epoch, accepted_value) = (prepared_epoch, v)。

2.2.2 proposer

第一阶段需要做的事情
获取epoch轮次的访问权以及当前确定的var的取值。

第二阶段需要做的事情
采用“后者认同前者”的原则。
怎么讲?
如果prepare阶段返回的var为空,则肯定旧的epoch无法生成确定性取值,则提交自己的V值。
如果var值存在,则此取值肯定是确定性取值,此时认同它,不再更改,直接使用这个值。

这个场景下,已经很好地解决了场景2.1 的问题,那么如果多个acceptor呢?
那就采用paxos吧。

3 paxos- multi acceptor , multi proposer.

3.1 Acceptor

在2.2的基础上,支持了多acceptor. paxos采用了“少数服从多数”的原则,一旦某epoch 的取值f 被半数以上的acceptor接受,则认为此var取值被确定为f,不再更改。

3.2 Proposer

3.2.1 第一阶段

选定epoch,获取epoch访问权和对应的var取值。必须半数以上的accepor同意。

3.2.2 第二阶段

采用“后者认同前者”的原则执行。

  • 如果var为空,则使用proposer自己的V,如果得到半数以上的acceptor统一,则OK。 如果失败,则返回error, 重新进入prepare阶段。
  • 如果var不为空,认同最大accepted_epoch对应的取值f, 努力使<当前epoch, f > 成为确定性取值。

4 paxos 算法内容

先给个结论(来自维基百科):

通过一个决议分为两个阶段:

  • prepare阶段:
    proposer选择一个提案编号n并将prepare请求发送给acceptors中的一个多数派;
    acceptor收到prepare消息后,如果提案的编号大于它已经回复的所有prepare消息(回复消息表示接受accept),则acceptor将自己上次接受的提案回复给proposer,并承诺不再回复小于n的提案;
  • 批准阶段:
    当一个proposer收到了多数acceptors对prepare的回复后,就进入批准阶段。它要向回复prepare请求的acceptors发送accept请求,包括编号n和根据P2c决定的value(如果根据P2c没有已经接受的value,那么它可以自由决定value)。
    在不违背自己向其他proposer的承诺的前提下,acceptor收到accept请求后即批准这个请求。

再来个图:

paxos.png

参考自: http://codemacro.com/2014/10/15/explain-poxos/

5 paxos 的工程实现

微信开源的phxpaxos:https://github.com/Tencent/phxpaxos

一个简版的go paxos实现: https://github.com/zhanglvmeng/paxos

6 总结

本文参考知行学社的视频讲解,从paxos能解决什么问题,特殊场景下的解决方案,最后引出了paxos。 然后讲解了paxos的算法内容,最后罗列了两个工程上的实现。希望对你有所帮助~

7 参考文献

看过讲解paxos 最经典的中文视频了: https://www.bilibili.com/video/av36134550/?spm_id_from=333.788.videocard.6
这是我整理的视频笔记: https://pan.baidu.com/s/1Gl1tgbffWXu0fcJ0HVykDg
图解分布式一致性协议Paxos http://codemacro.com/2014/10/15/explain-poxos/
维基百科的paxos https://zh.wikipedia.org/wiki/Paxos%E7%AE%97%E6%B3%95#%E5%AE%9E%E4%BE%8B

8 其他

本文是《循序渐进分布式一致性算法》的第一篇-《paxos》。
如果有疑问,可以直接留言,也可以关注公众号 “链人成长chainerup” 提问留言,或者加入知识星球“链人成长”~

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,417评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,921评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,850评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,945评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,069评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,188评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,239评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,994评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,409评论 1 304
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,735评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,898评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,578评论 4 336
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,205评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,916评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,156评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,722评论 2 363
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,781评论 2 351

推荐阅读更多精彩内容

  • Paxos是分布式系统中的经典的一致性协议,之前在学习zookeeper时第一次接触到,不过当初并没明白这个有点绕...
    蚊子squirrel阅读 1,028评论 0 7
  • 最近在学习zookeeper原理的时候了解到了paxos算法,看了几篇文章之后还是感觉有些迷糊,后来看了知行学社的...
    程序员历小冰阅读 797评论 0 10
  • 0.前言 本文记录笔者学习和理解区块链共识算法Paxos的点滴,文章比较长,需要耐心来细细琢磨,笔者也是苦战了一个...
    WallisW阅读 3,230评论 2 14
  • 注意: 1.一个acceptor能批准不止一个提案,但是只能批准一个value2.prepare阶段每个propo...
    赤子心_d709阅读 505评论 0 1
  • Paxos是什么 Paxos算法是基于消息传递且具有高度容错特性的一致性算法,是目前公认的解决分布式一致性问题最有...
    jiangmo阅读 1,534评论 0 6