ZooKeeper 学习笔记(二)-API 操作和应用

客户端

znode 可能含有数据,也可能没有。如果 znode 包含数据,那么数据存储为字节数组(byte array)。字节数组的具体格式特定于每个应用的实现,ZooKeeper 不直接 提供解析支持。不过一般情况下,以 UTF-8 或 ASCII 编码的字符串就已经够用了。

API 概述

ZooKeeper 的 API 可以抽象成以下方法:

  • create /path data

    创建一个名为 /path 的 znode 节点,并包含数据 data

  • delete /path

    删除名为 /path 的 znode

  • exists /path

    检查是否存在名为 /path 的节点

  • setData /path data

    设置名为 /path 节点数据为 data

  • getData /path

    返回名为 /path 节点的所有子节点列表

需要注意的是,ZooKepper 并不允许局部写入或读取 znode 节点的数据。当设置一个 znode 节点的数据或读取时,znode 节点的内容会被整个替换或者全部读取。

zkCli.sh

ZooKeeper 安装包提供了客户端工具 zkCli.sh(zkCli.cmd)方便我们学习实验 API 接口,该工具位于 bin 目录下,启动命令格式为:

bin/zkCli.sh -server 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

后面一段“127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183”是 ZooKeeper 集群的 IP 和端口组成的字符串,客户端会以随机顺序连接到服务器中。连接上集群后,如下图显示:

zkCli 连接成功

其中 0x15a0d2841340001 是本次 session 的 id。

这儿简单的演示临时节点和监视点特性:

  • 同时开两个 zkCli 分别为 A,B;

A 连接至 127.0.0.1:2181

A连接到 ZooKeeper 集群

B 连接至 127.0.0.1:2182。

B连接到 ZooKeeper 集群
  • A 创建临时节点:create -e /temp_a "temp a znode"
A 创建节点
  • B 查看节点数据并设置监控点:get /temp_a true
B 查看节点
  • A 关闭模拟客户端崩溃。

A 创建的临时节点被删除

A 关闭连接

因为监视点的设置,B 收到 /temp_a 删除通知

B 收到删除通知
开源客户端库

zkCli 只适合学习和试验 ZooKeeper 集群,如果我们需要利用 ZooKeeper 实际开发分布式协同任务的系统时,可以使用 ZooKeeper 自带的客户端库。不过这些 jar 包只提供基本的阻塞和非阻塞 API 接口,需要开发人员自己实现类似会话超时重连,重复设置监视点等功能。除了 ZooKeeper 自带的客户端包,还可以使用以下客户端模块。

  • zkClient

zkClient 是 Github 上一个开源的 ZooKeeper 客户端,是由 Datameer的工程师 Stefan Groschupf 和 Peter Voss 一起开发的。zkClient 在原生 API 上进行封装,是一个更简单易用的 ZooKeeper 客户端。同时,zkClient 在内部实现了诸如 session 超时重练,Watcher 反复注册等功能,使这些繁琐复杂的功能对开发人员透明。

地址:https://github.com/sgroschupf/zkclient

  • Curator

Curator 是 Netflix 公司开源的一套 ZooKeeper 客户端框架,和 zkClient 一样,Curator 解决了很多 ZooKeeper 客户端非常底层的细节开发工作,目前已成为 Apache 的顶级项目,是全世界范围内使用最广泛的 ZooKeeper 客户端之一。

除了封装底层细节,使之对开发透明,Curator 还提供了一套易用性和可读性更强的 Fluent 风格的 API 框架。

除此之外,Curator 还提供饿了 ZooKeeper 各种应用场景的抽象封装(Recipe),如共享锁服务,Master 选举机制和分布式计数器等。

地址:http://curator.apache.org/curator-recipes/index.html

典型应用

需要再次说明 ZooKeeper 是保证分布式数据一致性和任务协调的框架,它并不会直接实现具体的分布式锁,Master 选举等分布式功能,而是提供一些简单易用的 API 接口,具体的功能实现需要开发者根据情况自行实现。另一方面,ZooKeeper 同时也是一个典型的发布/订阅模式的分布式数据管理与协调方案,配合监视点事件通知机制,可以非常方便地构建一些列分布式应用中都会涉及的核心功能:

  • 数据发布/订阅
  • 负载均衡
  • 命名服务
  • 分布式协调/通知
  • 集群管理
  • Master 选举
  • 分布式锁
  • 分布式队列

下面简单介绍下分布式锁的实现思路。

分布式锁

假设一个应用由 n 个进程组成,分别为 p1, p2 .... pn,这些进程尝试获取一个锁从而进入临界区进行操作。这儿我们可以使用 ZooKeeper 的 znode 来代表一个锁,如“/lock”。

  1. 所有进程同时尝试创建这个 znode,由 ZooKeeper 来保证顺序性。
  2. 如果某进程成功创建了 “/lock”,假设为 p4,则代表 p4 抢占到了该分布式锁,p4 可以执行临界区代码,其他进程则会因为 znode 存在而创建失败。
  3. 它们可以在 “/lock”节点上创建监视器后等待 znode 删除通知,如果删除通知到来,则重复 1 抢占锁。
  4. p4 释放锁时,删除 “/lock”节点即可,需要注意,因为 p4 很可能执行临界区代码时崩溃,所以“/lock”节点应该临时节点,如果 p4 崩溃,则该节点自行删除。
羊群效应

上述分布式锁的实现简单易用,但是却会造成“羊群效应”。想象一下,如果有 1000 个客户端同时调用 exists 监视“/lock”节点变化。那么当这个 znode 创建或删除时就会发送 1000 个通知,这个被监视的 znode 的一个变化会产生一个尖峰的通知,该尖峰时刻提交的操作可能会产生很高的延迟。

为了防止羊群效应的产生,利用有序节点,分布式锁不妨换一种实现方式:

  1. 系统已经存在“/lock”节点,争抢锁的进程在该节点下创建临时有序子节点,形如:/lock/192.168.1.200:2222-00000001;
  2. 进程获取 /lock 下子节点列表,判断自己的节点位置:
    • 如果自己的节点序号最小,则表示获得锁,执行临界区代码;
    • 如果不是,则在自己序号前一个子节点增加监视点 Watcher,等待删除通知。
  3. 获取锁的进程,执行外临界代码,删除自己的子节点,表示释放锁;
  4. 下一个子节点序号的进程获取删除通知,重复动作 2。

这种实现方式下,进程只监测排在它前面进程的节点,而不是 所有进程都监测 /lock 节点,避免了“羊群效应”。结构如下图所示:

分布式锁
ZooKeeper 和 Dubbo

Dubbo 是阿里巴巴开源(好像开源版本已经停止更新)的由 Java 语言编写的分布式服务框架,致力于提供高性能和透明化的远程服务调用方案和 SOA 服务治理方案。

目前 Github 地址:https://github.com/alibaba/dubbo
主页地址: http://dubbo.io/

Dubbo 基于 ZooKeeper 实现服务注册中心。注册中心是 RPC 框架最核心的模块之一,用于服务的注册和订阅。在 Dubbo 的实现中,对注册中心模块进行抽象封装,因此可以基于其提供的外部接口实现各种不同类型的注册中心,例如数据库,Redis 等。

在 Dubbo 注册中心的整体架构中,ZooKeeper 上服务的节点设计如下图所示:

分布式锁
  • /dubbo 这是 Dubbo 在 ZooKeeper 上创建的根节点
  • /dubbo/com.foo.BarService 是服务节点,代表了 Dubbo 的一个服务
  • /dubbo/com.foo.BarService/providers 这是服务提供者的根节点,其子节点代表每一个服务真正提供者
  • /dubbo/com.foo.BarService/consumers 这是服务消费者的根节点,其子节点代表每一个服务的真正消费者

流程说明:

  • 服务提供者(Provider)启动
    • 向 /dubbo/com.foo.BarService/providers 目录下写入自己的URL地址。
  • 服务消费者(Consumer)启动时
    1. 订阅 /dubbo/com.foo.BarService/providers 目录下的提供者URL地址。
    2. 并向 /dubbo/com.foo.BarService/consumers 目录下写入自己的URL地址。
  • 监控中心(Monitor)启动时
    • 订阅 /dubbo/com.foo.BarService 目录下的所有提供者和消费者URL地址。

需要注意的是,所有提供者和消费者在 ZooKeeper 上创建的节点都是临时节点,利用临时节点生命周期和会话绑定的特性,一旦机器发生故障导致服务提供者无法对外提供服务,该临时节点就会自动从 ZooKeeper 上删除。

内容来源

从 Paxos 到 ZooKeeper 分布式一致性原理与实践

ZooKeeper 分布式过程协同技术详解

https://github.com/alibaba/dubbo

http://dubbo.io/User+Guide-zh.htm#UserGuide-zh-Zookeeper%E6%B3%A8%E5%86%8C%E4%B8%AD%E5%BF%83

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容