Zookeeper入门
1. 安装部署
安装
required:安装java环境,jre即可
安装方式:yum、brew、apt-get
部署:
修改zoo.cfg文件
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/usr/local/var/run/zookeeper/data1
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
# the port at which the clients will connect
clientPort=2182
# cluster configuration
server.1=localhost:2889:3889
server.2=localhost:2890:3890
server.3=localhost:2891:3891
注意点:
- server.id=host:port:port
id是ServerID(范围1~255),用来标识集群唯一序列号。同时在dataDIr中必须创建一个myid文件,文件内容只有一个数字,那就是ServerID。 - 所有集群的cfg文件都必须是一致的。
启动
zkServer start zoo.cfg
验证
zkServer status zoo.cfg
基础概念
Zookeeper=文件系统+监听机制。集群中维护了一套节点(ZNode)树,由“/”分隔路径。ZNode有以下特性:
- ZNode自身可以存储数据(字节序列)和属性(Stat)。
- ZNode分为持久节点和临时节点两类
- 添加ZNode时可以带上SEQUENTIAL属性,一旦节点被标记上这个属性,Zookeeper会自动在节点名后面追加一个整型数字,该整型数字自增并由父节点维护。
- 每个ZNode上都会维护一个Stat数据结构,dataVersion(ZNode版本),cversion(子节点版本)和aclVersion(ACL版本)
-
可以给ZNode设置ACL(Access Control Lists)
客户端API
命令行工具
创建:create [-s] [-e] path data acl
读取:ls path [watch],get path [watch]
更新:set path data [version] (remark: version可以做乐观锁)
删除:delete path [version]
代码驱动包
ACL(Access Control Lists)
ACL 权限控制,使用:schema:id:permission 来标识。
Schema:权限策略。
- world:只有一个配套ID(anyone),代表所有人。
- ip:使用ip地址认证。
- auth:使用会话中已添加认证的用户。
- digest:用户名:密码的方式
ID:策略对象 - Schema=digest:ID的算法为username:Base64(sha1(username:password))
- Schema=world:固定“anyone”
Permission:权限集合 - CREATE:创建子节点,简写c
- READ:获取节点数据和子节点列表,简写r
- WRITE:更新节点数据,简写w
- DELETE:删除子节点,简写d
- ADMIN:设置节点的ACL,简写a
每个节点的权限都是单独设置的,子节点不会继承父节点的权限。例如客户端无权访问某节点,但可能可以访问它的子节点。
相关操作 - 获取权限:getAcl <path>
- 设置权限:setAcl <path> <acl>
- 添加认证用户:addauth <scheme> <auth>
应用场景
数据发布/订阅系统,即配置中心。
发布者将数据发布到Zookeeper的一个或一系列节点上,订阅者可以动态获取数据从而让应用进行动态更新。
一般发布订阅系统分推(Push)和拉(Pull)两种模式,Zookeeper使用推拉结合的方式。典型案例:Disconf(配置中心)
抽象出来只要符合3特性:数据量小、需要动态变化、集群各个实例共享,配置一致。
负载均衡
Zookeeper引用于“软”负载均衡场景。典型案例:自动化DNS服务
命名服务
分布式系统常见的公共服务之一,在分布式系统中被命名的实体可以是机器节点、服务地址或远程对象。
常见的应用是RPC框架、注册中心所提供的服务地址列表或远程对象列表。
资源可以使用命名服务生成全局唯一的ID,该ID比UUID更短更语义化。
分布式协调通知
任务注册:通过抢占节点来感知是否已经存在任务。
任务热备切换:通过创建临时顺序节点的方式,感知自己是否RUNNING,并在列表更新时更新自己的状态。
分布式锁
排它锁、共享锁和限量锁的应用,依然可以通过临时顺序节点来实现。
其他
除此之外还有许多应用场景,全凭想象力。