zookeeper_集群环境搭建与配置文件

(一) Zookeeper基础知识、体系结构、数据模型

zookeeper是一个类似hdfs的树形文件结构,zookeeper可以用来保证数据在(zk)集群之间的数据的事务性一致;
zookeeper有watch时间,是一次性出发的,当watch监视的数据发生变化时,通知设置了该watch的client,即watcher;
zookeeper有三个角色:Leader,Follower,Observer
zookeeper应用场景:
统一命名服务(Name Service)
配置管理(Configuration Management)
集群管理(Group Memership)
共享锁(Locks)
队列管理

(二) Zookeeper配置(搭建zookeeper服务器集群)

1.1 结构: 一共三个节点(zk服务器集群规模不小于3个节点),要求服务器之间系统时间保持一致。

  注意: /etc/hostname  和  /etc/hosts 配置主机名称

服务器地址	hostname
192.168.80.189	bhz189
192.168.80.190	bhz190
192.168.80.191	bhz191

进入192.168.80.189服务器

vi /etc/hosts
192.168.80.189 bhz189
192.168.80.190 bhz190
192.168.80.191 bhz191

进入192.168.80.190服务器

vi /etc/hosts
192.168.80.189 bhz189
192.168.80.190 bhz190
192.168.80.191 bhz191

进入192.168.80.191服务器

vi /etc/hosts
192.168.80.189 bhz189
192.168.80.190 bhz190
192.168.80.191 bhz191

1.2 上传zk到三台服务器上(目录:`/usr/local/sotware/`)

进行解压:

tar -zxvf zookeeper-3.4.14.tar.gz -C /usr/local/

重命名:

mv zookeeper-3.4.14 zookeeper

修改环境变量:

vi /etc/profile
ZOOKEEPER_HOME=/usr/local/zookeeper
PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin
export PATH JAVA_HOME CLASSPATH ZOOKEEPER_HOME

修改完环境变量后需要刷新:

source /etc/profile

到zookeeper目录下修改配置文件:

cd /usr/local/zookeeper/conf
mv zoo_sample.cfg zoo.cfg
vi zoo.cfg
# 修改两处
# (1)
dataDir=/usr/local/zookeeper/data
# (2) 最后面添加
server.0=bhz189:2888:3888
server.1=bhz190:2888:3888
server.2=bhz191:2888:3888

三台服务器标识配置:
192.168.80.189

# 创建文件夹:
cd /usr/local/zookeeper
mkdir data
# 创建文件myid并添加内容为0:
cd /usr/local/zookeeper/data
touch myid
vi myid
0

192.168.80.190

# 创建文件夹:
cd /usr/local/zookeeper
mkdir data
# 创建文件myid并添加内容为1:
cd /usr/local/zookeeper/data
touch myid
vi myid
1

192.168.80.191

# 创建文件夹:
cd /usr/local/zookeeper
mkdir data
# 创建文件myid并添加内容为2:
cd /usr/local/zookeeper/data
touch myid
vi myid
2

启动zookeeper:

cd /usr/local/zookeeper/bin
zkServer.sh start(注意这里3台机器都要进行启动)
zkServer.sh status(在三个节点上检验zk的mode,一个leader和两个follower)

1.3操作zookeeper(shell)

# 进入zookeeper客户端
zkCli.sh
# 根据提示命令进行操作:
# 查找:
ls /
# 创建并赋值:
create /test 1234
# 获取:
get /test
# 设值:
set /test 123456
# 可以看到zookeeper集群的数据一致性
# 创建节点有两种类型:短暂(ephemeral)  持久(persistent)

zxid：一个事务编号，zookeeper集群内部的所有事务，都有一个全局的唯一的顺序的编号
它由两部分组成：就是一个 64位的长整型 long
高32位: 用来标识leader关系是否改变，如 0x2　　
低32位：用来做当前这个leader领导期间的全局的递增的事务编号，如 00000009

cZxid = 0x100000002
ctime = Sun May 12 03:26:18 EDT 2019
mZxid = 0x100000003
mtime = Sun May 12 03:26:35 EDT 2019
pZxid = 0x100000002
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 6
numChildren = 0

状态属性	说明
cZxid	数据节点创建时的事务ID
ctime	数据节点创建时的时间
mZxid	数据节点最后一次更新时的事务ID
mtime	数据节点最后一次更新时的时间
pZxid	数据节点的子节点列表最后一次被修改（是子节点列表变更，而不是子节点内容变更）时的事务ID
cversion	子节点的版本号
dataVersion	数据节点的版本号
aclVersion	数据节点的ACL版本号
ephemeralOwner	如果节点是临时节点，则表示创建该节点的会话的SessionID；如果节点是持久节点，则该属性值为0
dataLength	数据内容的长度
numChildren	数据节点当前的子节点个数

(三)zoo.cfg详解:

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/usr/local/zookeeper/data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

server.0=bhz189:2888:3888
server.1=bhz190:2888:3888
server.2=bhz191:2888:3888

tickTime:

基本时间单元,以毫秒为单位。这个时间是作为Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每隔tickTime时间就会发送一个心跳。

initLimit:

这个配置项是用来配置Zookeeper接受客户端初始化连接时最长能然后多少个心跳时间间隔数,当已经超过10个心跳的时间(也就是tickTime)长度后Zookeeper服务器还没有收到客户端的返回信息,name表明这个客户端连接失败。总的时间长度就是10*2000=20秒

syncLimit:

这个配置项标识Leader与Follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒

dataDir:

存储内容中数据库快照的位置,顾名思义就是Zookeeper保存数据的目录,默认情况下,Zookeeper将写数据的日志文件也保存在这个目录里。

clientPort:

这个端口就是客户端连接Zookeeper服务器的端口, Zookeeper会监听这个端口,接受客户端的访问请求。

server.A=B:C:D :

A 标识这个是第几号服务器
B 是这个服务器的IP地址
C 标识的是这个服务器与集群中的Leader服务器交换信息的端口
D 标识的是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的leader