源码:https://github.com/shawntime/shawn-zookeeper-utils
wiki地址:https://github.com/shawntime/shawn-zookeeper-utils/wiki
Zookeeper是什么
Zookeeper是分布式协调服务,是一个高性能的分布式数据一致性解决方案,它将那些复杂的、容易出错的分布式一致性问题封装起来,构成一个高效可靠的原语集,并向用户提供简单易用的调用接口。
Zookeeper知识要点
- 源代码开放
- 分布式服务,用以解决分布式一致性问题
- 顺序一致性:客户端的更新顺序与它们发送的顺序一致
- 原子性:更新操作要么成功,要么失败,没有第三种可能
- 单一视图:无论客户端连接到哪个zookeeper的服务器,看到的都是相同的Zookeeper视图,数据一致的
- 可靠性:一旦一个更新操作被应用,那么在客户端再次更新它之前,它的值将不会改变
- 实时性:在特定的一段时间内,客户端看到的系统需要被保证是实时的(在十几秒的时间里)。在此时间段内,任何系统的改变将被客户端看到,或者被客户端侦测到。
- 高性能
- 解决实际的应用场景问题
应用场景
- 数据发布/订阅(配置管理、服务发现与注册)
- 负载均衡
- 命名服务
- 分布式通知/协调
- Master选举与集群管理
- 分布式锁
- 分布式队列
Zookeeper基本概念
- 集群角色
- Leader:整个zookeeper集群工作机制的核心
- Follower:zookeeper状态的跟随者
- ObServer:观察者
- 会话:session,客户端与zookeeper创建的连接
- 数据节点:数据单元Znode,持久节点和临时节点,数据节点上可以保存少量的数据信息
- 版本:数据的操作版本号
- watcher:监听节点的子节点或者本身节点数据的变化
- ACL权限控制
- CREATE:创建子节点的权限
- READ:获取节点数据和子节点列表的权限
- WRITE:更新节点数据的权限
- DELETE:删除子节点的权限
- ADMIN:设置节点ACL的权限
环境搭建
多机分布式部署
- 安装JDK
- 下载Zookeeper包,解压后/opt/zookeeper-3.4.10
- 修改conf/zook_配置zook.cfg文件,zook.cfg复制多份
tickTime=2000
dataDir=/var/lib/zookeeper-1/
clientPort=2181
initLimit=5
syncLimit=2
server.1=192.168.1.101:2887:3887
server.2=192.168.1.102:2888:3888
server.3=192.168.1.103:2889:3889
- dataDir目录下创建myid文件,里面保存服务器编号(1,2,3)
- 验证:telnet ip port (telnet 192.168.1.101 2181)
zook.cfg文件字段含义
- tickTime:这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。
- dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。
- clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
- initLimit:这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 5个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒
- syncLimit:这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 2*2000=4 秒
- server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。
客户端脚本
启动/关闭命令
bin/zkServer.sh start
bin/zkServer.sh stop
启动客户端命令
bin/zkCli.sh -server ip:port
zkCli.sh -server 192.168.1.101:2181
创建
create [-s] [-e] path data acl
-s :顺序节点\
-e : 临时节点
acl : 控制权限
create /node-book 123
读取
ls path
get path [watch]
更新
set path data [watch]
删除(如果存在子节点,则无法删除)
delete path