ZooKeeper集群的搭建

ZooKeeper是一个能为分布式应用程序提供主从协调服务，少量数据的存储与管理的技术。

1 前提准备

• 操作系统：CentOS6.6
• ZooKeeper安装包：zookeeper-3.4.5.tar.gz

2 集群架构

3 搭建集群

3.1 解压安装包

[root@ZooKeeper01 lcp]# pwd
/home/lcp
[root@ZooKeeper01 lcp]# mkdir zookeeper
[root@ZooKeeper01 lcp]# tar -zxf software/zookeeper-3.4.5.tar.gz -C zookeeper/

3.2 修改配置文件名

[root@ZooKeeper01 conf]# pwd
/home/lcp/zookeeper/zookeeper-3.4.5/conf
[root@ZooKeeper01 conf]# ll
total 12
-rw-r--r--. 1 501 games  535 Sep 30  2012 configuration.xsl
-rw-r--r--. 1 501 games 2161 Sep 30  2012 log4j.properties
-rw-r--r--. 1 501 games  808 Sep 30  2012 zoo_sample.cfg
[root@ZooKeeper01 conf]# mv zoo_sample.cfg zoo.cfg

3.3 设置数据存储路径

配置文件中默认的数据存储路径是“/tmp/zookeeper”，因为tmp目录下的数据在Linux系统重启后会被清空，所以必须要修改它。一般情况下，我们会将数据目录设置在zookeeper的安装目录下。

# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/home/lcp/zookeeper/zookeeper-3.4.5/data

3.4 设置集群信息

在配置文件“zoo.cfg”的最底下加上集群信息：

server.1=192.168.1.4:2888:3888
server.2=192.168.1.5:2888:3888
server.3=192.168.1.6:2888:3888

• 1,2,3：ZooKeeper服务器标识ID
• 2888：主从节点通信端口
• 3888：主从节点选举端口

zoo.cfg配置文件的最终效果：

01-配置文件.png

3.5 创建数据存储路径

[root@ZooKeeper01 zookeeper-3.4.5]# pwd
/home/lcp/zookeeper/zookeeper-3.4.5
[root@ZooKeeper01 zookeeper-3.4.5]# mkdir data

3.6 创建ZooKeeper标识文件

进入数据存储路径，创建一个文件，名为“myid”，内容为zoo.cfg配置文件中指定的服务器标识ID。

第一台ZooKeeper服务器的myid文件的内容为“1”，第二台为“2”，第三台为“3”。

[root@ZooKeeper01 zookeeper-3.4.5]# cd data/
[root@ZooKeeper01 data]# pwd
/home/lcp/zookeeper/zookeeper-3.4.5/data
[root@ZooKeeper01 data]# echo 1 > myid
[root@ZooKeeper01 data]# ll
total 4
-rw-r--r--. 1 root root 2 Jan 11 08:39 myid
[root@ZooKeeper01 data]# cat myid 
1

按照上面的六个步骤，依次到三台服务器上进行配置，以上就是ZooKeeper集群的搭建过程。

4 启动集群

4.1 启动指令

将三台ZooKeeper服务器全部启动，启动指令如下：

[root@ZooKeeper01 bin]# pwd
/home/lcp/zookeeper/zookeeper-3.4.5/bin
[root@ZooKeeper01 bin]# ./zkServer.sh start
JMX enabled by default
Using config: /home/lcp/zookeeper/zookeeper-3.4.5/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

4.2 查看服务进程

[root@ZooKeeper01 bin]# jps
24844 Jps
24791 QuorumPeerMain
[root@ZooKeeper01 bin]# netstat -nltp | grep 2181
tcp        0      0 :::2181                     :::*                        LISTEN      24791/java

QuorumPeerMain就是ZooKeeper的服务进程，这个进程监听着2181端口。

4.3 查看集群主从情况

ZooKeeper01：从节点（follower）

[root@ZooKeeper01 bin]# ./zkServer.sh status
JMX enabled by default
Using config: /home/lcp/zookeeper/zookeeper-3.4.5/bin/../conf/zoo.cfg
Mode: follower

ZooKeeper02：主节点（leader）

[root@ZooKeeper02 bin]# ./zkServer.sh status
JMX enabled by default
Using config: /home/lcp/zookeeper/zookeeper-3.4.5/bin/../conf/zoo.cfg
Mode: leader

ZooKeeper03：从节点（follower）

[root@ZooKeeper03 bin]# ./zkServer.sh status
JMX enabled by default
Using config: /home/lcp/zookeeper/zookeeper-3.4.5/bin/../conf/zoo.cfg
Mode: follower

5 测试集群

5.1 测试集群的数据同步

使用命令行客户端登录集群：

[root@ZooKeeper01 bin]# pwd
/home/lcp/zookeeper/zookeeper-3.4.5/bin
[root@ZooKeeper01 bin]# ./zkCli.sh

在ZooKeeper01上写入一个测试数据（ZooKeeper使用文件树的形式管理数据）：

[zk: localhost:2181(CONNECTED) 6] create /test 100
Created /test
[zk: localhost:2181(CONNECTED) 7] ls /
[test, zookeeper]
[zk: localhost:2181(CONNECTED) 8] get /test
100
cZxid = 0x10000000c
ctime = Thu Jan 11 10:03:32 PST 2018
mZxid = 0x10000000c
mtime = Thu Jan 11 10:03:32 PST 2018
pZxid = 0x10000000c
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0

分别到ZooKeeper02和ZooKeeper03上取这个数据，如果都能获取到“/test”的值（100），说明集群的数据同步功能没有问题。

[zk: localhost:2181(CONNECTED) 2] get /test
100
cZxid = 0x10000000c
ctime = Thu Jan 11 10:03:32 PST 2018
mZxid = 0x10000000c
mtime = Thu Jan 11 10:03:32 PST 2018
pZxid = 0x10000000c
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0

5.2 测试集群的高可用性

ZooKeeper集群的特点：一半以上的节点存活时，集群才可以正常工作。

当前集群的情况：

• ZooKeeper01：从节点
• ZooKeeper02：主节点
• ZooKeeper03：从节点

挂掉主节点ZooKeeper02：

[root@ZooKeeper02 bin]# jps
24976 Jps
24720 QuorumPeerMain
[root@ZooKeeper02 bin]# kill -9 24720

这时候还有两个节点活着，数量大于集群总数的一半，我们查看一下这两个节点的状态：
ZooKeeper01：

[root@ZooKeeper01 bin]# ./zkServer.sh status
JMX enabled by default
Using config: /home/lcp/zookeeper/zookeeper-3.4.5/bin/../conf/zoo.cfg
Mode: follower

ZooKeeper03：

[root@ZooKeeper03 bin]# ./zkServer.sh status
JMX enabled by default
Using config: /home/lcp/zookeeper/zookeeper-3.4.5/bin/../conf/zoo.cfg
Mode: leader

我们可以看到ZooKeeper通过选举机制将ZooKeeper03选举为新的主节点，集群依然正常工作。

现在集群的情况：

• ZooKeeper01：从节点
• ZooKeeper02：挂了
• ZooKeeper03：主节点

我们再挂掉主节点ZooKeeper03：

[root@ZooKeeper03 bin]# jps
24718 QuorumPeerMain
25047 Jps
[root@ZooKeeper03 bin]# kill -9 24718

这个时候只剩一个节点活着，数量小于集群总数的一半，理论上说，集群不会工作了。查看一下ZooKeeper01的状态：

[root@ZooKeeper01 bin]# ./zkServer.sh status
JMX enabled by default
Using config: /home/lcp/zookeeper/zookeeper-3.4.5/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

果然，ZooKeeper01也不工作了。所以3台ZooKeeper组成的集群只能容错1台。