技术管理篇5一技术演变史(13)

上一篇,我们把后端服务分为计算和存储两大职能,同时聊了计算集群的分工和协作。今天,我们继续聊一下存储集群的部分。

二次确认

相对计算集群来说,存储集群多了一点很重要的职责,就是要保障各个节点之间的数据一致。类比我们日常工作中的团队,怎么保证传递的信息,团队其他成员都能理解。这的确是个很头疼的问题。

大部分情况,我们以为自己说清楚了,对方应该明白。但是实际对方不明白,或者理解成了另外的样子。那怎么解决呢,我们常用的方式是,让对方再复述一下,看看他说的是否跟我想要表达的是一致的。如果不一致就再说一遍。这叫二次确认。

同样的道理,当我们存储一个数据的时候,可以让存储节点给我们二次确认,这样来保障这个节点的数据一致。这其实就是事务的概念。举个例子,多个数据库之间的操作,我们想保持在一个事务内,就是采用二次提交的方式。第一次提交就是通知大家新的信息,然后大家操作完毕后,再反馈操作后的结果。只有大家都成功了,才开始第二次真正的提交。如果其中有一方失败了,大家都要回滚到之前的数据状态。

团队Leader

大家可以看到,这种二次确认的方式代价是很大的。尤其是对一个大的团队而言,要传递每个信息都要每个人二次确认,这是没有办法做到的。那怎么来做呢,现实生活中,我们会给这个大的团队找一个领导,所有信息的传递,我们都保证跟这个领导确认好,再由这个领导将信息传达给各个组员。

在计算机集群中,依然可以采用这种方式。我们可以在一个大的集群中,选取一个Leader节点。首先由他来确认信息,然后再通过他传递给其他节点。

这里就有两个问题要解决。第一,这个Leader怎么选举,当Leader出现故障后怎么办;第二,Leader的信息怎么有效的传递给各个节点。

Leader选举

先说第一个问题,首次的Leader我们可以直接指定。主要是集群运行过程中,如果Leader发生了故障怎么办。这时候就需要从其他节点中选择一个新的出来。

在解决这个问题之前,我们首先得解决怎么实时获取节点状态的问题。如果我们没有办法第一时间捕获故障信息,那再好的办法也已经太晚了。怎么判断这个节点还活着呢。类比我们自己,我们通过摸心跳来判断一个人是否还活着。集群节点也可以这样,节点可以固定频率的向外发送心跳信息。只要心跳在,节点就还活着。

再来看一下,当Leader节点故障后,我们怎么来重新选择一个。还是类比我们工作中的团队,如果一个Leader离职,怎么办。要么上一级领导再指定一个;要么大家自发选举一个,一人一票,得票多者当选。

计算机集群也可以采用类似的办法。一种方式是领导指定。我们先得在集群内或外部找一个领导。这个领导接收每个节点的心跳信息。当Leader节点发生故障后,领导通过规则重现指派一个Leader节点出来。那新选举出来的节点怎么让外界知道呢?我们得让外界对集群的访问,首先通过领导。通过领导来获取集群状态,然后再访问实际的节点。这种方式的缺点是领导节点也得是一个集群,不然就是个单点。大家可以深入研究下通过zookeeper来组建集群的方式,有类似的原理。

另外一种方式就是自发的选举。选举者得先知道可以选谁,这就要求每个节点要把心跳信息发送出来。到底发给谁,一种方式是广播出来,大家都可以接收,每个节点维护一个整个集群的状态信息。一种方式是把心跳发送给一个中立的节点,由这个节点维护整个集群的状态。

当Leader节点故障后,因为Leader心跳停止,其他节点就可以按照固定的规则从自己维护的节点信息中选举一个出来。当发现自己应该被当选后,就向其他节点发送推举自己的请求。当过半数节点同意后,新的Leader节点就确定下来了。

这里面有一个问题需要我们注意。因为网络的原因,可能某个节点的心跳信息会有丢失。这样每个节点维护的集群列表可能会不一样。这样每个节点的选举虽然规则相同,但是因为节点列表不一样,也可能选举结果会不一致。这就会造成同一时间,可能会有两个或多个节点请求大家推举自己。那怎么来办,我们就需要重新选举了。因为第一次选举的时候,大家已经把自己维护的节点列表周知出来。这时候,第二次选举可能就成功了。

总结一下,我们通过二次确认,可以保证一个事务的严格执行。但是对大的集群来说代价过大,我们可以选举出Leader作为代表,代理整个集群。下一篇我们继续来说这一块。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,686评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,668评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,160评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,736评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,847评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,043评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,129评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,872评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,318评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,645评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,777评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,861评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,589评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,687评论 2 351

推荐阅读更多精彩内容