ZK系列之ZooKeeper使用入门

ZK系列之ZooKeeper使用入门

准本条件

操作系统

ZK包含了很多组件，有些组件支持很多系统，而有些只支持部分。组件如下：

  • Client： Java客户端库，用于连接ZK。

  • Server： Java服务端运行在ZK集群节点。

  • Native Client：C实现的客户端，类似于Java客户端，应用程序连接ZK。

  • Contrib：可选择的插件组件。

    操作系统 Client Server Native Client Contrib
    GNU/Linux 支持 支持 支持 支持
    Solaris 支持 支持 不支持 不支持
    FreeBSD 支持 支持 不支持 不支持
    Windows 支持 支持 不支持 不支持
    Mac OS X 仅支持开发 仅支持开发 不支持 不支持

需要说明的是支持指的是开发和生产环境。从上面的表可以看出，需要根据需求选择合适的操作系统，以便使用ZK。

软件要求

ZK是使用Java语言编写，所以操作系统需要安装Java环境，JDK版本必须是1.6以上。若是采用zk集群方式，至少需要3个节点，最好运行在不同的机器上。

安装ZK

下载zookeeper-3.4.12.tar.gz，然后解压到你喜欢的目录下即可。

单机模式与集群模式

ZK支持单机模式也支持集群模式，还有伪集群模式（一种退化的集群模式）。

配置文件

在conf目录下面，拷贝一份 zoo_sample.cfg,然后把名字改为 zoo.cfg。下面是一个简单的配置项：

tickTime=2000
initLimit=5
syncLimit=2
dataDir=../../../tmp/zk/data
dataLogDir=../../../tmp/zk/log
clientPort=2181
server.1=IP1:2888:3888
server.2=IP2:2888:3888
server.3=IP2:2888:3888

注意：将IPi修改为服务器1，在单机模式中无须配置；

参数说明：

  • tickTime：Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳。
  • initLimit:用来配置Zookeeper接受客户端(ZK服务集群中连接到Leader的Follower服务器)初始化连接时最长能忍受多少个心跳时间间隔数；时间长度：initLimit*tickTime。
  • syncLimit:Leader与Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，syncLimit*tickTime
  • dataDir：Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
  • dataLogDir:zk保存日志的地方。
  • clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。
  • server.A=B：C：D：其中 A 是一个数字（1~255），表示这个是第几号服务器，；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。

需要在dataDir目录下创建myid文件，里面的内容为A，注意每台机器需要一一对应

脚本说明

在 ZooKeeper的bin目录下的脚本内容：

脚本 说明
zkCleanup 清理ZooKeeper历史数据，包括事务日志文件和快照数据文件
zkCli ZooKeeper的一个简易客户端
zkEnv 设置ZooKeeper的环境变量
zkServer ZooKeeper服务器的启动、停止和重启脚本

单机模式

配置zoo.cfg

单机模式只适合在开发模式，在conf/zoo.cfg配置如下内容：

 tickTime=2000
 dataDir=../../../tmp/zk/data
 dataLogDir=../../../tmp/zk/log
 clientPort=2181

启动服务

进入到bin目录，执行脚本:zkServer.sh(linux) 或 zkServer.cmd（win）。

检测

  1. 使用 netstat -ano 命令

启动服务之后，使用netstat -ano查看，比如在win中的命令：netstat -ano | findstr 2181;在linux下使用：netstat -nao | grep 2181

  1. 使用 telnet 127.0.0.1 2181, 输入 stat：
Zookeeper version: 3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on 03/27/2018 03:55 GMT
Clients:/127.0.0.1:56800[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0
Received: 1
Sent: 0
Connections: 1
Outstanding: 0
Zxid: 0x23
Mode: standalone
Node count: 11

注意： Mode: standalone，表示单机模式。

集群模式

我们在一台机器上构建3个节点的伪集群模式。真正的集群模式与之类似，只是在配置项中有少许不同。构建三个节点：

 zookeeper-1
 zookeeper-2
 zookeeper-3

配置zoo.cfg

在zookeeper-1的conf/zoo.cfg：

tickTime=2000
initLimit=5
syncLimit=2
dataDir=../../../tmp/zk1/data

dataLogDir=../../../tmp/zk1/log
clientPort=2181
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

在zookeeper-2的conf/zoo.cfg：

tickTime=2000
initLimit=5
syncLimit=2
dataDir=../../../tmp/zk2/data

dataLogDir=../../../tmp/zk2/log
clientPort=2182
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

在zookeeper-3的conf/zoo.cfg：

tickTime=2000
initLimit=5
syncLimit=2
dataDir=../../../tmp/zk3/data

dataLogDir=../../../tmp/zk3/log
clientPort=2183
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

从上面的配置可以看出，由于在同一台机器上，所以需要配置不同的clientPort, 每个server中的端口配置不同。若是在不同的机器上，clientPort配置一样，每个server中配置的IP不同，但后面两个端口一样，也就是说不同机器构建集群的话，三份配置文件是一样的。

在dataDir目录下新建myid文件，文件内容是server.x中的x，此示例中分别为1,2,3。

启动服务

分别进入：zookeeper-x\bin，执行zkServer脚本，启动服务。

检查是否启动成功

  1. 使用 netstat 命令： netstat -ano | findstr 218[1,2,3]

      TCP    0.0.0.0:2181           0.0.0.0:0              LISTENING       8520
  TCP    0.0.0.0:2182           0.0.0.0:0              LISTENING       9212
  TCP    0.0.0.0:2183           0.0.0.0:0              LISTENING       8736
  TCP    [::]:2181              [::]:0                 LISTENING       8520
  TCP    [::]:2182              [::]:0                 LISTENING       9212
  TCP    [::]:2183              [::]:0                 LISTENING       8736

  2. 使用telnet

  • telnet 127.0.0.1 2181, 然后输入 stat

    Zookeeper version: 3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on 03/27/2018 03:55 GMT
Clients: /127.0.0.1:58669[0](queued=0,recved=1,sent=0)
Latency min/avg/max: 0/0/0
Received: 1
Sent: 0
Connections: 1
Outstanding: 0
Zxid: 0x300000002
Mode: follower
Node count: 13

  • telnet 127.0.0.1 2182, 然后输入 stat

    Zookeeper version: 3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on 03/27/2018 03:55 GMT
Clients:/127.0.0.1:58691[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0
Received: 1
Sent: 0
Connections: 1
Outstanding: 0
Zxid: 0xb00000000
Mode: leader
Node count: 13

  • telnet 127.0.0.1 2183, 然后输入 stat

    Zookeeper version: 3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on
03/27/2018 03:55 GMT
Clients:
/127.0.0.1:58706[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0
Received: 1
Sent: 0
Connections: 1
Outstanding: 0
Zxid: 0x
300000002
Mode: follower
Node count: 13

构建集群结构

从Mode来看，可以看出构建的集群结构是：

                        node2 --- leader
                        /   \
                        /     \
      Follower --- Node1    Node3 --- Follower

zk基于层次型的目录树数据结构，并对树中的节点进行有效管理，为此提供了一套很好的分布式集群管理的机制。

客户端玩zk

  1. 连接server：zkCli.cmd -server 127.0.0.1:2181
  2. 创建节点

  • 查看节点

    [zk: 127.0.0.1:2181(CONNECTED) 2] ls /
[dubbo, zookeeper, app2, app1, app3]

  • 创建节点

创建一个节点zk_test，关联到的数据是 my_data

[zk: 127.0.0.1:2181(CONNECTED) 3] create /zk_test my_data
Created /zk_test
[zk: 127.0.0.1:2181(CONNECTED) 4] ls /
[dubbo, zookeeper, app2, app1, app3, zk_test]

  • 查看节点信息

    [zk: 127.0.0.1:2181(CONNECTED) 5] get /zk_test
my_data
cZxid = 0xb00000002
ctime = Tue Mar 19 19:20:00 CST 2019
mZxid = 0xb00000002
mtime = Tue Mar 19 19:20:00 CST 2019
pZxid = 0xb00000002
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 0
[zk: 127.0.0.1:2181(CONNECTED) 6]

  • 更新节点信息

    [zk: 127.0.0.1:2181(CONNECTED) 6] set /zk_test junk
cZxid = 0xb00000002
ctime = Tue Mar 19 19:20:00 CST 2019
mZxid = 0xb00000003
mtime = Tue Mar 19 19:57:15 CST 2019
pZxid = 0xb00000002
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 0

  • 删除节点

    [zk: 127.0.0.1:2181(CONNECTED) 7] delete /zk_test
[zk: 127.0.0.1:2181(CONNECTED) 8] ls /
[dubbo, zookeeper, app2, app1, app3]
[zk: 127.0.0.1:2181(CONNECTED) 9]

  • 注意删除非空节点报：Node not empty: xxx

    • 创建节点
    [zk: 127.0.0.1:2181(CONNECTED) 11] create /zk_test my_test
Created /zk_test
    • 创建子节点
    [zk: 127.0.0.1:2181(CONNECTED) 12] ls /
[dubbo, zookeeper, app2, app1, app3, zk_test]
[zk: 127.0.0.1:2181(CONNECTED) 13] create /zk_test/child junk
Created /zk_test/child
[zk: 127.0.0.1:2181(CONNECTED) 14] ls /
[dubbo, zookeeper, app2, app1, app3, zk_test]
[zk: 127.0.0.1:2181(CONNECTED) 15] ls /zk_test
[child]
    • 查看节点信息
      [zk: 127.0.0.1:2181(CONNECTED) 16] get /zk_test
  my_test
  cZxid = 0xb00000005
  ctime = Tue Mar 19 20:20:45 CST 2019
  mZxid = 0xb00000005
  mtime = Tue Mar 19 20:20:45 CST 2019
  pZxid = 0xb00000006
  cversion = 1
  dataVersion = 0
  aclVersion = 0
  ephemeralOwner = 0x0
  dataLength = 7
  numChildren = 1

      [zk: 127.0.0.1:2181(CONNECTED) 17] get /zk_test/child
  junk
  cZxid = 0xb00000006
  ctime = Tue Mar 19 20:21:05 CST 2019
  mZxid = 0xb00000006
  mtime = Tue Mar 19 20:21:05 CST 2019
  pZxid = 0xb00000006
  cversion = 0
  dataVersion = 0
  aclVersion = 0
  ephemeralOwner = 0x0
  dataLength = 4
  numChildren = 0

    • 删除非空节点

        [zk: 127.0.0.1:2181(CONNECTED) 18] delete /zk_test
  Node not empty: /zk_test
  [zk: 127.0.0.1:2181(CONNECTED) 19]

参考资料

  1. ZooKeeper Getting Started Guide
  2. 系统支持
  3. zookeeper-3.4.12.tar.gz
  4. 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
  5. zookeeper复制模式
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • Zookeeper应用介绍与安装部署
    1 Zookeeper概述# ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决...
    七寸知架构阅读 12,079评论 0赞 101
  • BigData~02：Hadoop基础01 ~ ZooKeeper
    ... 一、相关概念 中间件：为分布式系统提供协调服务的组件，如专门用于计算服务的机器就是一个计算型中间件，还有专...
    帅可儿妞阅读 3,369评论 0赞 0
  • 20180308-收获满满的一天
    今天是周四,今天林哥去E世界面试去了,所以这边就我们三个人,也没活干,不过我的目标是明确的,所以刚来就进入了状态,...
    8f6f2a102b12阅读 812评论 0赞 0
  • 侯明明 国画彩竹：《舞春风》
    侯明明 国画彩竹：《舞春风》 画心：175cmx91cm《舞春风》14.3325平尺作者:侯明明类别:国画彩竹创作...
    4182204ab311阅读 3,211评论 0赞 3
  • 无题
    梨花零落，满地飘散香自尽; 纷雪暮舞，犹怜玉蝶断翅飞。 不信多情，断肠离恨曲中哀; 烟雨诵秋，梧桐叶尽两相愁。
    朕在此处阅读 2,849评论 0赞 0