关于ZK
Zookeeper是一个典型的分布式的数据一致性解决方案,分布式应用的程序可以zk实现数据发布/订阅,负载均衡,命名服务,Master选举,分布式锁,分布式队列,注册中心等功能.
分布式特点和问题
- 1 特点
- 1.1分布性
- 1.2对等性
- 1.3并发性
- 1.4 缺乏全局时钟
- 1.5 事故总是会发生
- 2 问题
- 2.1通信异常 (网络本身的不可靠性)
- 2.2网络分区 (只有部分节点能正常通信)
- 2.3三态 (成功,失败,超时)
- 2.4节点故障 (节点宕机或僵死)
CAP和BASE理论
由于分布式系统的特点和问题导致在处理分布式事务时,在其可用性和严格一致性之间出现冲突,一致性和可用性之间永远无法存在一个两全其美的方案,于是如何构建一个兼顾可用性和一致性的分布式系统成为难题,引出了如CAP和BASE这样的分布式经典理论.
- CAP理论
一个分布式系统不可能同时满足
一致性(C:Consistency),可用性(A:Available)和分区容错性
(P:partition tolerance)这三个基本要求,最多只能同时满足两个 - BASE理论
BASE是
基本可用(Basically Available),软状态(Soft state)和最终一致性(Eventually consistent) 的简写,其核心思想是指:即使无法做到强一致性,但每个应用可以根据自身的业务特点,才有适当的方式达到最终一致性
zk的启动
- 1.准备java环境
- 2.下载zk安装包
- 3.配置zoo.cfg
初次使用ZooKeeper,需要将
conf目录下的zoo_sample.cfg复制一份并命名为zoo.cfg. - 4.到
bin目录下通过sh zkServer.sh start启动 - 5.验证是否启动成功
- 方式1:telnet 127.0.0.1:2181
- 方式2:到
bin目录下通过sh zkServer.sh status验证
zk 集群配置
在 zoo.cfg增加如下配置 server.id=host:port1:port2
其中id 指的Server ID,用来标识该机器在集群中的序号,我们需要在dataDir参数所指定的目录下(默认为/tmp/zookeeper/)创建一个myid文件,该文件中只有一个数字即该机器的Server ID.
host:指的是该服务所在机器的ip,port1 指的是数据同步端口,port2指的leader选举端口
- 以三台机器为例
server.1=192.168.11.129:2888:3888
server.2=192.168.11.131:2888:3888
server.3=192.168.11.135:2888:3888
集群角色
- Leader:
Leader是整个zk集群工作机制中的核心,其主要工作:
- 事务请求(对数据的增删改操作)的唯一调度和处理者,保证集群的事物处理顺序
- 集群内部个服务器的调度者
- Follower 跟随者
- 处理客户端的非事务请求,转发事务请求给Leader服务器.
- 参数是事务请求proposal(提议)的投票
- 参数Leader请求的投票
- Oberver 观擦者
- 不参与任何形式的投票
- 处理客户端的非事务请求,转发事务请求给Leader服务器.
- 主要作用在不影响集群事物处理能力的前提下提升集群的非事物处理能力
zoo.cfg参数详情
tickTime=2000 zookeeper中最小的时间单位长度 （ms）
initLimit=10 follower节点启动后与leader节点完成数据同步的时间
syncLimit=5 leader节点和follower节点进行心跳检测的最大延时时间
dataDir=/tmp/zookeeper 表示zookeeper服务器存储快照文件的目录
dataLogDir 表示配置 zookeeper事务日志的存储路径，默认指定在dataDir目录下
clientPort 表示客户端和服务端建立连接的端口号：2181
数据模型
zookeeper的数据模型和文件系统类似，每一个节点称为：znode. 是zookeeper中的最小数据单元。每一个znode上都可以保存数据和挂载子节点。 从而构成一个层次化的属性结构
- 1节点特性
- 1.1持久节点 :指改数据节点被创建后,就会一直存在Zookeeper服务器上,直到主要去删除这个节点.
- 1.2 持久顺序节点:在持久节点的基础上多了顺序性,zk会自动的为给定节点名加上一个数字后缀,作为新的节点名.
- 1.3 临时节点:临时节点的生命周期和客户端的会话绑在一起,当会话失效时,这个节点就被自动清理掉(注意:临时节点下面不能创建子节点)
- 1.4临时后续节点:在临时节点基础上加了有序性
- 2 状态信息
通过get 节点名 获取到该节点的信息
[zk: localhost:2181(CONNECTED) 4] get /zk01
1 //该节点的内容
cZxid = 0x38 //该节点被创建的事务ID
ctime = Wed May 16 20:39:13 CST 2018 //节点创建时间
mZxid = 0x38 //改节点最后被更新的事务id
mtime = Wed May 16 20:39:13 CST 2018 //更新时间
pZxid = 0x38 //该节点的子节点最后一次被修改的事务id
cversion = 0 //子节点的版本号
dataVersion = 0 // 数据版本号
aclVersion = 0 //节点acl的版本号
ephemeralOwner = 0x0 //创建临时节点的会话id
dataLength = 1 //数据内容长度
numChildren = 0 //子节点个数
客户端命令
sh zkCli.sh 连接本地zk服务器
sh zkCli.sh -server ip:port连接指定zk服务器
-
创建节点
crate [-s] [-e] path data acl其中-s 或-e指的是顺序或临时节点.默认情况下是创建持久节点 acl是权限控制参数[zk: localhost:2181(CONNECTED) 2] create /zk01 1 Created /zk01 -
读取
ls path [watch]查看指定节点下的所有子节点[zk: localhost:2181(CONNECTED) 6] ls / [zk02, dubbo, zk01, zookeeper]get path [watch]获取指点节点的数据内容和属性信息[zk: localhost:2181(CONNECTED) 4] get /zk01 1 //该节点的内容 cZxid = 0x38 //该节点被创建的事务ID ctime = Wed May 16 20:39:13 CST 2018 //节点创建时间 mZxid = 0x38 //改节点最后被更新的事务id mtime = Wed May 16 20:39:13 CST 2018 //更新时间 pZxid = 0x38 //该节点的子节点最后一次被修改的事务id cversion = 0 //子节点的版本号 dataVersion = 0 // 数据版本号 aclVersion = 0 //节点acl的版本号 ephemeralOwner = 0x0 //创建临时节点的会话id dataLength = 1 //数据内容长度 numChildren = 0 //子节点个数 -
更新
set path data [version]data指更新的内容 version指基于该版本进行更新[zk: localhost:2181(CONNECTED) 0] set /zk01 123 cZxid = 0x38 ctime = Wed May 16 20:39:13 CST 2018 mZxid = 0x3c mtime = Wed May 16 21:05:11 CST 2018 pZxid = 0x38 cversion = 0 dataVersion = 1 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 3 numChildren = 0 -
删除
delete path [version]删除指定节点 version指基于该版本进行删除,删除的该节点必须没有子节点[zk: localhost:2181(CONNECTED) 1] delete /zk02
