zookeeper集群搭建

1.简介
ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。

那下面我们就简单介绍一下zookeeper的几个核心概念

集群角色

在ZooKeeper中，有三种角色：

·Leader

·Follower

·Observer

一个ZooKeeper集群同一时刻只会有一个Leader，其他都是Follower或Observer。

ZooKeeper配置很简单，每个节点的配置文件(zoo.cfg)都是一样的，只有myid文件不一样。myid的值必须是zoo.cfg中server.{数值}的{数值}部分。

会话（Session）

Session是指客户端会话，在讲解客户端会话之前，我们先来了解下客户端连接。在ZooKeeper中，一个客户端连接是指客户端和ZooKeeper服务器之间的TCP长连接。ZooKeeper对外的服务端口默认是2181，客户端启动时，首先会与服务器建立一个TCP连接，从第一次连接建立开始，客户端会话的生命周期也开始了，通过这个连接，客户端能够通过心跳检测和服务器保持有效的会话，也能够向ZooKeeper服务器发送请求并接受响应，同时还能通过该连接接收来自服务器的Watch事件通知。

Session的SessionTimeout值用来设置一个客户端会话的超时时间。当由于服务器压力太大、网络故障或是客户端主动断开连接等各种原因导致客户端连接断开时，只要在SessionTimeout规定的时间内能够重新连接上集群中任意一台服务器，那么之前创建的会话仍然有效。

数据节点（ZNode）

在谈到分布式的时候，一般『节点』指的是组成集群的每一台机器。而ZooKeeper中的数据节点是指数据模型中的数据单元，称为ZNode。ZooKeeper将所有数据存储在内存中，数据模型是一棵树（ZNode Tree），由斜杠（/）进行分割的路径，就是一个ZNode，如/hbase/master,其中hbase和master都是ZNode。每个ZNode上都会保存自己的数据内容，同时会保存一系列属性信息。

持久节点

所谓持久节点是指一旦这个ZNode被创建了，除非主动进行ZNode的移除操作，否则这个ZNode将一直保存在ZooKeeper上。

临时节点

临时节点的生命周期跟客户端会话绑定，一旦客户端会话失效，那么这个客户端创建的所有临时节点都会被移除。

另外，ZooKeeper还允许用户为每个节点添加一个特殊的属性：SEQUENTIAL。一旦节点被标记上这个属性，那么在这个节点被创建的时候，ZooKeeper就会自动在其节点后面追加上一个整型数字，这个整型数字是一个由父节点维护的自增数字。

版本

ZooKeeper的每个ZNode上都会存储数据，对应于每个ZNode，ZooKeeper都会为其维护一个叫作Stat的数据结构，Stat中记录了这个ZNode的三个数据版本，分别是version（当前ZNode的版本）、cversion（当前ZNode子节点的版本）和aversion（当前ZNode的ACL版本）。

状态信息

每个ZNode除了存储数据内容之外，还存储了ZNode本身的一些状态信息。用 get 命令可以同时获得某个ZNode的内容和状态信息。

事务操作

在ZooKeeper中，能改变ZooKeeper服务器状态的操作称为事务操作。一般包括数据节点创建与删除、数据内容更新和客户端会话创建与失效等操作。对应每一个事务请求，ZooKeeper都会为其分配一个全局唯一的事务ID，用ZXID表示，通常是一个64位的数字。每一个ZXID对应一次更新操作，从这些ZXID中可以间接地识别出ZooKeeper处理这些事务操作请求的全局顺序。

Watcher

Watcher（事件监听器），是ZooKeeper中一个很重要的特性。ZooKeeper允许用户在指定节点上注册一些Watcher，并且在一些特定事件触发的时候，ZooKeeper服务端会将事件通知到感兴趣的客户端上去。该机制是ZooKeeper实现分布式协调服务的重要特性。

ACL

ZooKeeper采用ACL（Access Control Lists）策略来进行权限控制。ZooKeeper定义了如下5种权限。

·CREATE: 创建子节点的权限。

·READ: 获取节点数据和子节点列表的权限。

·WRITE：更新节点数据的权限。

·DELETE: 删除子节点的权限。

·ADMIN: 设置节点ACL的权限。

注意：CREATE 和 DELETE 都是针对子节点的权限控制。

  1. 环境准备 三台服务器

192.168.16.95 c7003
192.168.16.97 c7004
192.168.16.101 c7005

分别修改主机名，添加hosts，关闭防火墙
[root@localhost ~]# systemctl  stop firewalld 
[root@localhost ~]# setenforce 0 
[root@c7001 ~]# hostname  c7001[1-5]
[root@c7001 ~]#  cat >> /etc/hosts  << EOF
192.168.16.95   c7003
192.168.16.97   c7004
192.168.16.101  c7005
EOF
[root@c7001 ~]# ping  c7002
PING c7002 (192.168.16.80) 56(84) bytes of data.
64 bytes from c7002 (192.168.16.80): icmp_seq=1 ttl=64 time=0.570 ms
64 bytes from c7002 (192.168.16.80): icmp_seq=2 ttl=64 time=0.675 ms
image.png

follower负责响应读请求，leader负责提交写请求

3.安装zookeeper

[root@c7003 opt]$ wget http://apache.fayea.com/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
[root@c7003 src]# tar zxf zookeeper-3.4.10.tar.gz
[root@c7003 opt]# cd zookeeper-3.4.10/
[root@c7003 zookeeper-3.4.10]# mkdir  {data,logs}

4.修改配置文件

[root@c7003 zookeeper-3.4.10]# cd conf/
[root@c7003 conf]# mv zoo_sample.cfg  zoo.cfg  （一定要修改源文件 否则报错）
[root@c7003 conf]# vim zoo.cfg 
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/opt/zookeeper-3.4.10/data
dataLogDir=/opt/zookeeper-3.4.10/logs
server.1=c7003:2888:3888
server.2=c7004:2888:3888
server.3=c7005:2888:3888
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
  1. 创建myid文件（每个服务器不同）
[root@c7003 zookeeper-3.4.10]# cd data/
[root@c7003 data]# echo "1"  > myid

6.scp到其他服务器

[root@c7003 opt]# scp -r  zookeeper-3.4.10/   root@192.168.16.97:/opt/
[root@c7003 opt]# scp -r  zookeeper-3.4.10/   root@192.168.16.101:/opt/

7.分别修改c7004和c7005上myid的值为2和3

[root@c7004 data]# echo "2"  > myid 
[root@c7005 data]# echo "3"  > myid

8.分别启动c7003、c7004、c7005上的zookeeper

[root@c7003 zookeeper-3.4.10]$ bin/zkServer.sh start
[root@c7004 zookeeper-3.4.10]$ bin/zkServer.sh start
[root@c7005 zookeeper-3.4.10]$ bin/zkServer.sh start

9.分别查看zookeeper的状态

[root@c7003 zookeeper-3.4.10]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[root@c7004 zookeeper-3.4.10]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[root@c7005 zookeeper-3.4.10]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower

10.验证zookeeper集群

[root@c7003 zookeeper-3.4.10]$ bin/zkCli.sh -server c7003:2181
[zk: c7003:2181(CONNECTED) 0] ls  /
[zookeeper]
 port：2181

http://www.cnblogs.com/netbloomy/p/6658041.html

升级zookeeper至3.6.2
在zk01节点操作

$ cd /opt
$ wget https://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz
$ tar zxf apache-zookeeper-3.6.2-bin.tar.gz

修改配置文件

这里可以直接将3.4版本的zoo.cfg文件复制到3.6.2版本下，保持数据目录等配置相同；

$  cp /opt/zookeeper-3.4.10/conf/zoo.cfg  /opt/apache-zookeeper-3.6.2-bin/conf/

分发部署包至其他节点

$ scp -r apache-zookeeper-3.6.2-bin   root@zk02:/opt/
$ scp -r apache-zookeeper-3.6.2-bin   root@zk03:/opt/

升级3.4至3.6
滚动更新 顺序就是先Follower节点再Leader节点
上面3,4版本的zookeeper服务Leader节点是在zk02节点，所以我们先开始操作zk01，zk03节点

停止zk01节点的zookeeper3.4服务

$ /opt/zookeeper-3.4.10/bin/zkServer.sh stop

启动zk01节点的zookeeper3.6服务

$  /opt/apache-zookeeper-3.6.2-bin/bin/zkServer.sh start

停止zk03节点的zookeeper3.4服务

$  /opt/zookeeper-3.4.10/bin/zkServer.sh stop

启动zk03节点的zookeeper3.6服务

$  /opt/apache-zookeeper-3.6.2-bin/bin/zkServer.sh start

停止zk02节点的zookeeper3.4服务

 $ /opt/zookeeper-3.4.10/bin/zkServer.sh stop

启动zk02节点的zookeeper3.6服务

$  /opt/apache-zookeeper-3.6.2-bin/bin/zkServer.sh start

节点都启动后，再查看各节点上的zookeeper状态

$  /opt/apache-zookeeper-3.6.2-bin/bin/zkServer.sh  status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/apache-zookeeper-3.6.2-bin/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader

在集群任一节点验证刚才创建的数据是否存在

$ /opt/zookeeper-3.4.10/bin/zkCli.sh -server zk02
----------
[zk: zk02(CONNECTED) 0] get /node_1 
123
cZxid = 0x200000002
ctime = Thu Dec 10 12:21:35 CST 2020
mZxid = 0x200000002
mtime = Thu Dec 10 12:21:35 CST 2020
pZxid = 0x200000002
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0
[zk: zk02(CONNECTED) 1] get /node_2 
456
cZxid = 0x900000003
ctime = Thu Dec 10 13:34:47 CST 2020
mZxid = 0x900000003
mtime = Thu Dec 10 13:34:47 CST 2020
pZxid = 0x900000003
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0

如果升级失败，回滚

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 219,701评论 6赞 508
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 93,649评论 3赞 396
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 166,037评论 0赞 356
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 58,994评论 1赞 295
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 68,018评论 6赞 395
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 51,796评论 1赞 308
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,481评论 3赞 420
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 39,370评论 0赞 276
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 45,868评论 1赞 319
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,014评论 3赞 338
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,153评论 1赞 352
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,832评论 5赞 346
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,494评论 3赞 331
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,039评论 0赞 22
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,156评论 1赞 272
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 48,437评论 3赞 373
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 45,131评论 2赞 356

推荐阅读更多精彩内容