ZooKeeper 10分钟概述

历史

ZooKeeper原本是Apache Hadoop的一个组件(Hadoop 的分布式协调服务),是Google的Chubby一个开源的实现,现在被拆分为一个Hadoop的独立子项目

设计初衷

ZooKeeper的设计目的,是为了减轻分布式应用程序所承担的协调任务,用来建立安全处理局部故障的分布式应用,它本身并不能阻止局部故障的发生

数据模型和实现

ZooKeeper本质上是通过一个类似标准文件系统的共享层次命名空间来实现分布式进程间的协调,由于是类文件系统,所以即使所有的ZooKeeper节点全部挂掉,数据也不会丢失,重启服务器之后,数据即可恢复。其中命名空间节点被称作znode,znode节点可以包含数据和孩子节点,和标准文件系统不一样的是ZooKeeper把数据保存在内存当中,因为在内存中读写数据,所以ZooKeeper可以保证高吞吐和低延时性。节点更新是原子的,也就是说更新不是成功就是失败


两种特殊的ZNode

    1: Ephemeral Nodes:Ephemeral节点在创建它的会话活动期间存在。会话终止的时候,临时节点被删除,所以临时节点不能有子节点。(应用:集群管理)

    2: Sequence Nodes:创建znode时,可以要求ZooKeeper在路径名后增加一个单调增加的计数器部分。这个计数器相对于znode的父节点是唯一的。计数器的格式是%010d,例如:0000000001。(应用:分布式锁,选举)

一致性

ZooKeeper采用的是ZAB (ZooKeeper Atomic Broadcast) 一致性算法

一般来说,我们说的一致性分为如下多种

    1: 强一致性(strong consistency): 任何时刻,任何用户都能读取到最近一次成功更新的数据。

    2: 单调一致性(monotonic consistency): 任何时刻,任何用户一旦读到某个数据在某次更新后的值,那么就不会再读到比这个值更旧的值。也就是说,可获取的数据顺序必是单调递增的。

    3: 会话一致性(session consistency): 任何用户在某次会话中,一旦读到某个数据在某次更新后的值,那么在本次会话中就不会再读到比这值更旧的值。会话一致性是在单调一致性的基础上进一步放松约束,只保证单个用户单个会话内的单调性,在不同用户或同一用户不同会话间则没有保障。

    4: 最终一致性(eventual consistency): 用户只能读到某次更新后的值,但系统保证数据将最终达到完全一致的状态,只是所需时间不能保障。

    5: 弱一致性(weak consistency): 用户无法在确定时间内读到最新更新的值。


ZooKeeper的读写数据流(多节点读,一个master节点负责写,写完之后各个节点自己同步)

    1: 写: Client => Follower => Leader => Follower => Client

    2: 读: Client => Follower => Client

可以很清楚的看到,在集群中写数据的时候,存在数据并没有在集群中完成写入,集群数据还未同步,就已经更新了命名空间。这个时候使用最新的名称去读取数据会读到错误的数据,解决数据不同步问题,只能通过同步机制(定时执行sync()方法)解决

ZooKeeper的一致性

    1: 同一session:顺序一致性,保证版本不会退;

    2: 跨session:最终一致性,你最终会读到新数据的;


提供的服务

    1: 统一命名服务

    2: 配置管理

    3: 集群管理

    4: 共享锁和队列管理


统一命名服务:通过指定的名字获取资源或者服务提供者的信息

Zookeeper提供统一的命名服务,他不对外提供数据也不存储数据,他只提供一套统一的命名规则,运行在Zookeeper之上的服务需要遵循这一套命名规则


配置管理:配置的管理包含发布和订阅两个过程,将数据发布到ZK节点上,供订阅者动态获取数据,实现配置信息的集中管理和动态更新


集群管理:集群监控和Leader选举


传统的集群监控是通过某种手段(比如 ping)定是检测,或者机器定时向监控系统汇报

ZooKeeper的做法是

    1: 客户端在示例节点A上注册一个监控者(Watcher),那么如果A的子节点变化了,会通知该客户端。

    2: 创建EPHEMERAL类型的节点,一旦客户端和服务器的会话结束或过期,那么该节点就会消失。 


共享锁和队列管理: 利用zookeeper对znode节点操作的原子性


总结

ZooKeeper可以

    1: 顺序一致性:来自于客户端的更新,根据发送的先后被顺序实施。

    2: 唯一的系统映像:尽管客户端连接到不同的服务器,但它们看到的一个唯一(一致性)的系统服务,client无论连接到哪个server,数据视图都是一致的。

    3: 可靠性:一旦实施了一个更新,就会一直保持那种状态,直到客户端再次更新它,同时数据更新原子性,一次数据更新要么成功,要么失败。

    4: 及时性:在一个确定的时间内,客户端看到的系统状态是最新的。

ZooKeeper不可以

    1: 实时性:如果需要最新数据,应该在读数据之前调用sync()接口

    2: 所有数据,都存储在内存中,导致不能存储太多的数据

    3: 慢

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,014评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,796评论 3 386
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,484评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,830评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,946评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,114评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,182评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,927评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,369评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,678评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,832评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,533评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,166评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,885评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,128评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,659评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,738评论 2 351

推荐阅读更多精彩内容

  • 一、ZooKeeper的背景 1.1 认识ZooKeeper ZooKeeper---译名为“动物园管理员”。动物...
    algernoon阅读 9,060评论 1 106
  • 本文将从系统模型、序列化与协议、客户端工作原理、会话、服务端工作原理以及数据存储等方面来揭示ZooKeeper的技...
    端木轩阅读 3,794评论 0 42
  • 拆掉思维里的墙:大部分的矛盾与冲突,就是因为双方都在坚持自己的形式,而不是结果。打着爱的旗号来伤人,而且还坚持不懈...
    Mr不二阅读 283评论 0 1
  • 05ArrayList集合的自身特点 A:ArrayList集合的自身特点底层采用的是数组结构ArrayList ...
    葡小萄家的猫阅读 1,636评论 0 0
  • 人生如一艘逐渐远去的风帆,就算对此时此刻驻足的海域有再多的不舍和留恋,一阵风吹来,终将驶向远方。而这个过程从始至终...
    力翔阅读 458评论 0 1