从PAXOS到ZOOKEEPER分布式一致性原理与实践:Watcher--数据变更的通知

本文内容为《从PAXOS到ZOOKEEPER分布式一致性原理与实践》一书学习笔记。本文主要概述第七章Watcher机制内容。

Water机制概述

Water机制用来实现分布式的通知功能,ZooKeeper允许客户端向服务端注册一个Watcher监听,当服务端的一些指定事件触发了Watcher,会向客户端发送事件通知。

1.客户端注册Watcher

Watcher接口类用于表示一个标准的事件处理器,包含KeeperState和EventTyepe两个枚举类,分别表示通知状态和事件类型,同时定义了事件回调方法process()。在创建ZooKeeper客户端对象实例时,可以向构造方法中传入一个默认的Watcher。该Watcher即整个ZooKeeper会话期间的默认Watcher。另外,ZooKeeper客户端也可以通过getData、getChilden和exist三个接口来向ZooKeeper服务器注册Watcher。然后把Watcher对象封装成WatchRegistration对象(暂存数据节点的路径和Watcher的对应关系),然后将WatchRegistration对象封装成Packet(在ZooKeeper中,Packet是用于客户端与服务器之间网络传输的最小通信协议单元,任何需要传输的对象都需要包装成一个Packet对象),之后将该Packet放入发送队列outgoingQueue中去,等待客户端发送出去。底层发送先进行序列化,只序列化packet中的请求头和请求体到底层字节数组中(并不是完全序列化WatchRegistration对象,如果客户端注册的所有Watcher都被传递到服务端的话,服务端肯定会出现内存紧张或其他性能问题),由客户端线程SendThread进行发送到服务器,请求发送完毕后将该Packet保存到等待响应队列pendingQueue中。之后仍然由SendThread来进行响应接收(客户端SendThread线程的readRespnse方法负责接收来自服务端的响应),这是一次常规的响应(不是Watch事件),然后从pendingQueue拿出一个packet进行处理,检验ZXID确保请求处理的顺序性(串行化,书中并没见这句)。最后客户端将Watcher从WatchRegistration对象取出转交到ZKWatcherManager中的Map集合dataWatches(路径和watcher对象的映射)(客户端已经将Watcher暂时封装在了WatchRegistration对象中,现在就需要从这个封装对象中再次提取出Watcher,在register方法中,客户端会将之前暂时保存的的Watcher对象转交给ZKWatcherManager,并最终保存到dataWatches中去。ZKWatcherManager. dataWatches用于将数据节点的路径和Watcher对象进行一一映射后管理起来。它一个Map<String,Set<Watcher>>类型的数据结构。)完成整个注册过程。


服务端会进行是否需要注册watcher的判断,通过(FinalRequestProcessor.processRequest()中的)getDataRequest.getWatch是来判断,需要注册则最终将数据节点、节点路径、ServerCnxn(看做watcher对象)(ServerCnxn是一个ZooKeeper客户端和服务器之间的连接端口,代表了一个客户端和服务器的连接,它实现了Watcher的process接口,因此它可以看成是一个Watcher对象)存储在WatchManager中(WatchManager是ZooKeeper服务端Watcher的管理者,其内部管理的watchTable 是从数据节点路径的粒度来托管Watcher,watch2Paths是从Watcher的粒度来控制事件触发需要触发的数据节点;WatchManager还负责Watcher事件的触发并移除已被触发的Watcher)。WatchManager具体由服务端DataTree中dataWatches和childWatches托管。

2.Watcher触发

举例:节点数据变更的倾听。会在setData()数据修改(对指定节点进行数据更新)后调用dataWatches.triggerWatch方法进行触发。触发过程:
1)封装WatchedEvent。首先将KeeperState、EventType(通知状态和事件类型)和节点路径(Path)封装成WatchedEvent对象;
2)查询Watcher。从WatchManager查询到watcher并将其取出并删除(根据数据节点的节点路径从watchTable中取出对应的Watcher,如果没有找到Watcher,说明没有任何客户端在该数据节点上注册过Watcher,直接退出。如果找到了,会将其提取出来,同时会直接从watchTable和watch2Paths中将其删除),说明触发只有一次性。(Watcher在服务端是一次性的)。
3)调用process方法来触发Watcher。利用watcher(实质上是ServerCnxn,代表连接接口)调用process方法,将WatchedEvent对象包装成WatcherEvent(实现了序列化接口便于发送),最后向客户端发送该通知。

3.客户端回调Watcher

客户端SendThread线程调用readRespnse进行处理。
1)反序列化。ZooKeeper客户端会首先将字节流反序列化成WatcherEvent对象。
2)处理chrootPath。(如果客户端设置了chrootPath属性,需要对服务端传过来的完整的节点路径进行chrootPath处理,生成客户端的一个相对节点路径。)
3)还原WatchedEvent。(将WatcherEvent对象转换成WatchedEvent)
4)回调Watcher。将WatchedEvent对象交给EventThread线程。EventThread . queueEvent会根据该通知事件从ZKWatcherManager中的Map集合dataWatches(也可能是existWatches/childWatches)取出watcher并移除原来的储存(客户端识别出事件类型EventType后从相应的Watcher存储移除),也是一次性触发(使用的是remove接口,表明客户端的Watcher机制也是一次性的)。获取到所有的Watcher之后,会将其放入waitingEvents这个队列(待处理Watcher的队列)中去,EventThread线程的run方法对这个队列进行处理,最后进行watcher.process方法的真正回调(此方法中的Watcher才是客户端真正注册的Watcher,调用其process方法就可以实现Watcher的回调了)。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,752评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,100评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,244评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,099评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,210评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,307评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,346评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,133评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,546评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,849评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,019评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,702评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,331评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,030评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,260评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,871评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,898评论 2 351

推荐阅读更多精彩内容