ZooKeeper集群介绍
最典型集群模式: Master/Slave 模式(主备模式)。在这种模式中,通常 Master服务器作为主服务器提供写服务,其他的 Slave 服务器从服务器通过异步复制的方式获取 Master 服务器最新的数据提供读服务。
但是,在 ZooKeeper 中没有选择传统的 Master/Slave 概念,而是引入了Leader、Follower 和 Observer 三种角色。如下图所示:
ZooKeeper 集群中的所有机器通过一个 Leader 选举过程来选定一台称为 “Leader” 的机器,Leader 既可以为客户端提供写服务又能提供读服务。除了 Leader 外,Follower 和 Observer 都只能提供读服务。Follower 和 Observer 唯一的区别在于 Observer 机器不参与 Leader 的选举过程,也不参与写操作的“过半写成功”策略,因此 Observer 机器可以在不影响写性能的情况下提升集群的读性能。
ZooKeeper集群搭建
为了获得可靠的 ZooKeeper 服务,用户应该在一个集群上部署 ZooKeeper 。只要集群上大多数的ZooKeeper 服务启动了,那么总的 ZooKeeper 服务将是可用的。另外,最好使用奇数台机器, 因为zookeeper集群是以宕机个数过半才会让整个集群宕机的。 如果 zookeeper拥有 5 台机器,那么它就能处理 2 台机器的故障了。
【注意】 搭建zookeeper集群时,一定要先停止已经启动的zookeeper节点。
Step1:配置zookeeper
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/etc/zookeeper/data
dataLogDir=/etc/zookeeper/logs
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
#http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
autopurge.purgeInterval=1
minSessionTimeout=2
maxSessionTimeout=20
server.1=192.168.1.127:2888:3888
server.2=192.168.1.128:2888:3888
server.3=192.168.1.139:2888:3888
server.4=192.168.1.130:2888:3888:observer
server.5=192.168.1.131:2888:3888:observer
autopurge配置
客户端在与zookeeper交互过程中会产生非常多的日志,而且zookeeper也会将内存中的数据作为snapshot保存下来,这些数据是不会被自动删除的,这样磁盘中这样的数据就会越来越多。不过可以通过这两个参数来设置,让zookeeper自动删除数据。
autopurge.purgeInterval:指定自动清理快照文件和事务日志文件的时间,单位为h,默认为0表示不自动清理,这个时候可以使用脚本zkCleanup.sh手动清理。如果不清理则磁盘空间占用越来越大。
autopurge.snapRetainCount:用于指定保留快照文件和事务日志文件的个数,默认为3。
不过如果你的集群是一个非常繁忙的集群,然后又碰上这个删除操作,可能会影响zookeeper集群的性能,所以一般会让这个过程在访问低谷的时候进行,但是遗憾的是zookeeper并没有设置在哪个时间点运行的设置,所以有的时候我们会禁用这个自动删除的功能,而做一些其他手段,比如手动或者自动地在凌晨做清理工作。
Server.ID配置
server.id=IP/Host : port1 : port2
id:用来配置ZK集群中的各节点,并建议id的值和myid保持一致,【注意】下文会讲myid的配置。
IP/Host: 服务器的 IP 或者是与 IP 地址做了映射的主机名
port1:Leader和Follower或Observer交换数据使用
port2:用于Leader选举
minSessionTimeout, maxSessionTimeout
一般,客户端连接zookeeper的时候,都会设置一个session timeout,如果超过这个时间client没有与zookeeper server有联系,则这个session会被设置为过期(如果这个session上有临时节点,则会被全部删除,这就是实现集群感知的基础)。但是这个时间不是客户端可以无限制设置的,服务器可以设置这两个参数来限制客户端设置的范围。
Step2: 创建myid文件
上文我们在每个zookeeper服务器的配置文件里配置了这样的信息:
server.1=192.168.1.127:2888:3888
server.2=192.168.1.128:2888:3888
server.3=192.168.1.139:2888:3888
server.4=192.168.1.130:2888:3888:observer
server.5=192.168.1.131:2888:3888:observer
server.id,这个id就是指zookeeper服务器在集群中的编号,我们需要把这个id写入到myid文件中,这个myid值在zookeeper集群中的选举过程中会做一个非常大的作用。比如在192.168.120.78这台机器中首先创建myid文件(dataDir目录,如上配置是/etc/zookeeper/data),然后执行下列操作:
echo "1" > /etc/zookeeper/data/myid
Step3:启动zookeeper服务,并查看状态
首先查看192.168.1.126的zookeeper服务的状态:
root@ubuntu:/home/lizhiyong/source/zookeeper-3.4.12/bin# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/lizhiyong/source/zookeeper-3.4.12/bin/../conf/zoo.cfg
Mode: follower
查看192.168.1.128的zookeeper服务的状态
root@ubuntu:/home/lee/source/zookeeper-3.4.12/bin# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/lee/source/zookeeper-3.4.12/bin/../conf/zoo.cfg
Mode: leader
查看192.168.1.130的zookeeper服务的状态
root@ubuntu:/home/lizhiyong/source/zookeeper-3.4.12/bin# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/lizhiyong/source/zookeeper-3.4.12/bin/../conf/zoo.cfg
Mode: follower
Step4: 加入观察者节点
具体可以参考:https://zookeeper.apache.org/doc/r3.4.14/zookeeperObservers.html
观察者节点为192.168.1.134,myid为4
第一步,在观察者节点的配置文件中增加以下内容:
peerType=observer
第二步,在其它的节点上修改配置添加
server.4=192.168.1.134:2888:3888:observer
查看状态:
root@ubuntu:/home/lizhiyong/source/zookeeper-3.4.12/bin# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/lizhiyong/source/zookeeper-3.4.12/bin/../conf/zoo.cfg
Mode: observer
点赞收藏转发,私信一下资料可以统统带走~