(一) Zookeeper基础知识、体系结构、数据模型
- zookeeper是一个类似hdfs的树形文件结构,zookeeper可以用来保证数据在(zk)集群之间的数据的事务性一致;
- zookeeper有watch时间,是一次性出发的,当watch监视的数据发生变化时,通知设置了该watch的client,即watcher;
- zookeeper有三个角色:Leader,Follower,Observer
- zookeeper应用场景:
统一命名服务(Name Service)
配置管理(Configuration Management)
集群管理(Group Memership)
共享锁(Locks)
队列管理
(二) Zookeeper配置(搭建zookeeper服务器集群)
1.1 结构: 一共三个节点(zk服务器集群规模不小于3个节点),要求服务器之间系统时间保持一致。
注意: /etc/hostname 和 /etc/hosts 配置主机名称
| 服务器地址 | hostname |
|---|---|
| 192.168.80.189 | bhz189 |
| 192.168.80.190 | bhz190 |
| 192.168.80.191 | bhz191 |
进入192.168.80.189服务器
vi /etc/hosts
192.168.80.189 bhz189
192.168.80.190 bhz190
192.168.80.191 bhz191
进入192.168.80.190服务器
vi /etc/hosts
192.168.80.189 bhz189
192.168.80.190 bhz190
192.168.80.191 bhz191
进入192.168.80.191服务器
vi /etc/hosts
192.168.80.189 bhz189
192.168.80.190 bhz190
192.168.80.191 bhz191
1.2 上传zk到三台服务器上(目录:/usr/local/sotware/)
进行解压:
tar -zxvf zookeeper-3.4.14.tar.gz -C /usr/local/
重命名:
mv zookeeper-3.4.14 zookeeper
修改环境变量:
vi /etc/profile
ZOOKEEPER_HOME=/usr/local/zookeeper
PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin
export PATH JAVA_HOME CLASSPATH ZOOKEEPER_HOME
修改完环境变量后需要刷新:
source /etc/profile
到zookeeper目录下修改配置文件:
cd /usr/local/zookeeper/conf
mv zoo_sample.cfg zoo.cfg
vi zoo.cfg
# 修改两处
# (1)
dataDir=/usr/local/zookeeper/data
# (2) 最后面添加
server.0=bhz189:2888:3888
server.1=bhz190:2888:3888
server.2=bhz191:2888:3888
三台服务器标识配置:
192.168.80.189
# 创建文件夹:
cd /usr/local/zookeeper
mkdir data
# 创建文件myid并添加内容为0:
cd /usr/local/zookeeper/data
touch myid
vi myid
0
192.168.80.190
# 创建文件夹:
cd /usr/local/zookeeper
mkdir data
# 创建文件myid并添加内容为1:
cd /usr/local/zookeeper/data
touch myid
vi myid
1
192.168.80.191
# 创建文件夹:
cd /usr/local/zookeeper
mkdir data
# 创建文件myid并添加内容为2:
cd /usr/local/zookeeper/data
touch myid
vi myid
2
启动zookeeper:
cd /usr/local/zookeeper/bin
zkServer.sh start(注意这里3台机器都要进行启动)
zkServer.sh status(在三个节点上检验zk的mode,一个leader和两个follower)
1.3操作zookeeper(shell)
# 进入zookeeper客户端
zkCli.sh
# 根据提示命令进行操作:
# 查找:
ls /
# 创建并赋值:
create /test 1234
# 获取:
get /test
# 设值:
set /test 123456
# 可以看到zookeeper集群的数据一致性
# 创建节点有两种类型:短暂(ephemeral) 持久(persistent)
zxid： 一个事务编号，zookeeper集群内部的所有事务，都有一个全局的唯一的顺序的编号
它由两部分组成： 就是一个 64位的长整型 long
高32位: 用来标识leader关系是否改变，如 0x2
低32位： 用来做当前这个leader领导期间的全局的递增的事务编号，如 00000009
cZxid = 0x100000002
ctime = Sun May 12 03:26:18 EDT 2019
mZxid = 0x100000003
mtime = Sun May 12 03:26:35 EDT 2019
pZxid = 0x100000002
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 6
numChildren = 0
| 状态属性 | 说明 |
|---|---|
| cZxid | 数据节点创建时的事务ID |
| ctime | 数据节点创建时的时间 |
| mZxid | 数据节点最后一次更新时的事务ID |
| mtime | 数据节点最后一次更新时的时间 |
| pZxid | 数据节点的子节点列表最后一次被修改（是子节点列表变更，而不是子节点内容变更）时的事务ID |
| cversion | 子节点的版本号 |
| dataVersion | 数据节点的版本号 |
| aclVersion | 数据节点的ACL版本号 |
| ephemeralOwner | 如果节点是临时节点，则表示创建该节点的会话的SessionID；如果节点是持久节点，则该属性值为0 |
| dataLength | 数据内容的长度 |
| numChildren | 数据节点当前的子节点个数 |
(三)zoo.cfg详解:
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/usr/local/zookeeper/data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.0=bhz189:2888:3888
server.1=bhz190:2888:3888
server.2=bhz191:2888:3888
tickTime:
基本时间单元,以毫秒为单位。这个时间是作为Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每隔tickTime时间就会发送一个心跳。
initLimit:
这个配置项是用来配置Zookeeper接受客户端初始化连接时最长能然后多少个心跳时间间隔数,当已经超过10个心跳的时间(也就是tickTime)长度后Zookeeper服务器还没有收到客户端的返回信息,name表明这个客户端连接失败。总的时间长度就是10*2000=20秒
syncLimit:
这个配置项标识Leader与Follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒
dataDir:
存储内容中数据库快照的位置,顾名思义就是Zookeeper保存数据的目录,默认情况下,Zookeeper将写数据的日志文件也保存在这个目录里。
clientPort:
这个端口就是客户端连接Zookeeper服务器的端口, Zookeeper会监听这个端口,接受客户端的访问请求。
server.A=B:C:D :
A 标识这个是第几号服务器
B 是这个服务器的IP地址
C 标识的是这个服务器与集群中的Leader服务器交换信息的端口
D 标识的是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的leader
