Zookeeper背景

Google的三篇论文影响了很多很多人，也影响了很多很多系统。这三篇论文一直是分布式领域传阅的经典。

根据MapReduce，于是我们有了Hadoop；

根据GFS，于是我们有了HDFS；

根据BigTable，于是我们有了HBase；

而在这三篇论文里都提及Google的一个lock service---Chubby，哦，于是我们有了Zookeeper。

伴随着Zookeeper有两篇论文：

• 第一篇：ZAB是介绍Zookeeper背后使用的一致性协议的（Zookeeper atomic broadcast protocol）；
• 第二篇：介绍Zookeeper本身的，在这两篇论文里都提到Zookeeper是一个分布式协调服务(a service for coordinating processes of distributed applications)。

在一个高并发的场景下，我们代码都要考虑一些同步、先后顺序，注意一些资源的安全性问题，那么在一个分布式的场景下，这些就更加的复杂了，在分布式环境中为了提升可靠性，我们往往会部署多套服务，但是如何在多套服务中达到一致性，这在同一个进程内很容易解决的问题，但在分布式环境中确实一个大难题。
所以分布式协调远远比同一个进程里的协调复杂得多，所以类似Zookeeper这类基础服务就应运而生。这些系统都在各个系统久经考验，它的可靠性，可用性都是经过理论和实践的验证的。所以我们在构建一些分布式系统的时候，就可以以这类系统为起点来构建我们的系统，这将节省不少成本，而且bug也将更少。

还有哪些适合做注册中心？

ZK属于服务发现工具，那么在市面上也会存在其他的一些服务治理的工具，比如：etcd & Consul。
参考一篇文章：http://dockone.io/article/667

etcd介绍

etcd是一个采用HTTP协议的健/值对存储系统，它是一个分布式和功能层次配置系统，可用于构建服务发现系统。其很容易部署、安装和使用，提供了可靠的数据持久化特性。它是安全的并且文档也十分齐全。

etcd比Zookeeper是比更好的选择，因为它很简单，然而，它需要搭配一些第三方工具才可以提供服务发现功能。但是etcd只是一个存储工具，要做到服务治理，就还需要Registrator与Confd的配合使用。

Registrator通过检查容器在线或者停止运行状态自动注册和去注册服务，它目前支持etcd、Consul和SkyDNS 2。

Registrator与etcd是一个简单但是功能强大的组合，可以运行很多先进的技术。每当我们打开一个容器，所有数据将被存储在etcd并传播到集群中的所有节点。

Confd是一个轻量级的配置管理工具，常见的用法是通过使用存储在etcd、consul和其他一些数据登记处的数据保持配置文件的最新状态，它也可以用来在配置文件改变时重新加载应用程序。换句话说，我们可以用存储在etcd（或者其他注册中心）的信息来重新配置所有服务。

Consul介绍

Consul是强一致性的数据存储，使用gossip形成动态集群。它提供分级键/值存储方式，不仅可以存储数据，而且可以用于注册器件事各种任务，从发送数据改变通知到运行健康检查和自定义命令，具体如何取决于它们的输出。

与Zookeeper和etcd不一样，Consul内嵌实现了服务发现系统，所以这样就不需要构建自己的系统或使用第三方系统。这一发现系统除了上述提到的特性之外，还包括节点健康检查和运行在其上的服务。

Zookeeper和etcd只提供原始的键/值队存储，要求应用程序开发人员构建他们自己的系统提供服务发现功能。而Consul提供了一个内置的服务发现的框架。客户只需要注册服务并通过DNS或HTTP接口执行服务发现。其他两个工具需要一个亲手制作的解决方案或借助于第三方工具。

Consul为多种数据中心提供了开箱即用的原生支持，其中的gossip系统不仅可以工作在同一集群内部的各个节点，而且还可以跨数据中心工作。

Consul还有另一个不错的区别于其他工具的功能，它不仅可以用来发现已部署的服务以及其驻留的节点信息，还通过HTTP请求、TTLs（time-to-live）和自定义命令提供了易于扩展的健康检查特性。

如何选择合适的注册中心？

http://static.cyblogs.com/QQ截图20200104231932.png

ZooKeeper能做什么？为什么要它？

在Zookeeper的官网上有这么一句话：ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services.

这大概描述了Zookeeper主要可以干哪些事情：配置管理，名字服务，提供分布式同步以及集群管理。那这些服务又到底是什么呢？我们为什么需要这样的服务？我们又为什么要使用Zookeeper来实现呢，使用Zookeeper有什么优势？接下来我会挨个介绍这些到底是什么，以及有哪些开源系统中使用了。

配置管理：在我们的应用中除了代码外，还有一些就是各种配置。比如数据库连接等。一般我们都是使用配置文件的方式，在代码中引入这些配置文件。但是当我们只有一种配置，只有一台服务器，并且不经常修改的时候，使用配置文件是一个很好的做法，但是如果我们配置非常多，有很多服务器都需要这个配置，而且还可能是动态的话使用配置文件就不是个好主意了。这个时候往往需要寻找一种集中管理配置的方法，我们在这个集中的地方修改了配置，所有对这个配置感兴趣的都可以获得变更。比如我们可以把配置放在数据库里，然后所有需要配置的服务都去这个数据库读取配置。但是，因为很多服务的正常运行都非常依赖这个配置，所以需要这个集中提供配置服务的服务具备很高的可靠性。一般我们可以用一个集群来提供这个配置服务，但是用集群提升可靠性，那如何保证配置在集群中的一致性呢？ 这个时候就需要使用一种实现了一致性协议的服务了。Zookeeper就是这种服务，它使用Zab这种一致性协议来提供一致性。现在有很多开源项目使用Zookeeper来维护配置，比如在HBase中，客户端就是连接一个Zookeeper，获得必要的HBase集群的配置信息，然后才可以进一步操作。还有在开源的消息队列Kafka中，也使用Zookeeper来维护broker的信息。在Alibaba开源的SOA框架Dubbo中也广泛的使用Zookeeper管理一些配置来实现服务治理。

名字服务：名字服务这个就很好理解了。比如为了通过网络访问一个系统，我们得知道对方的IP地址，但是IP地址对人非常不友好，这个时候我们就需要使用域名来访问。但是计算机是不能是别域名的。怎么办呢？如果我们每台机器里都备有一份域名到IP地址的映射，这个倒是能解决一部分问题，但是如果域名对应的IP发生变化了又该怎么办呢？于是我们有了DNS这个东西。我们只需要访问一个大家熟知的(known)的点，它就会告诉你这个域名对应的IP是什么。在我们的应用中也会存在很多这类问题，特别是在我们的服务特别多的时候，如果我们在本地保存服务的地址的时候将非常不方便，但是如果我们只需要访问一个大家都熟知的访问点，这里提供统一的入口，那么维护起来将方便得多了。

分布式锁：其实在第一篇文章中已经介绍了Zookeeper是一个分布式协调服务。这样我们就可以利用Zookeeper来协调多个分布式进程之间的活动。比如在一个分布式环境中，为了提高可靠性，我们的集群的每台服务器上都部署着同样的服务。但是，一件事情如果集群中的每个服务器都进行的话，那相互之间就要协调，编程起来将非常复杂。而如果我们只让一个服务进行操作，那又存在单点。通常还有一种做法就是使用分布式锁，在某个时刻只让一个服务去干活，当这台服务出问题的时候锁释放，立即fail over到另外的服务。这在很多分布式系统中都是这么做，这种设计有一个更好听的名字叫Leader Election(leader选举)。比如HBase的Master就是采用这种机制。但要注意的是分布式锁跟同一个进程的锁还是有区别的，所以使用的时候要比同一个进程里的锁更谨慎的使用。

集群管理：在分布式的集群中，经常会由于各种原因，比如硬件故障，软件故障，网络问题，有些节点会进进出出。有新的节点加入进来，也有老的节点退出集群。这个时候，集群中其他机器需要感知到这种变化，然后根据这种变化做出对应的决策。比如我们是一个分布式存储系统，有一个中央控制节点负责存储的分配，当有新的存储进来的时候我们要根据现在集群目前的状态来分配存储节点。这个时候我们就需要动态感知到集群目前的状态。还有，比如一个分布式的SOA架构中，服务是一个集群提供的，当消费者访问某个服务时，就需要采用某种机制发现现在有哪些节点可以提供该服务(这也称之为服务发现，比如Alibaba开源的SOA框架Dubbo就采用了Zookeeper作为服务发现的底层机制)。还有开源的Kafka队列就采用了Zookeeper作为Cosnumer的上下线管理。

搭建ZK的环境

准备3台机器

由于没有那么多的资源，我这里用的虚拟机（更好的办法是用Docker）。
环境情况：
1、Mac安装VMware，Professional Version 7.0.0 (2103067)；
2、安装好Linux系统，我推荐大家用CentOS，尽量与生产保持一致；
3、下载好zk的安装包:zookeeper-3.4.6 （官网下载地址：http://apache.fayea.com/zookeeper/zookeeper-3.4.6/）
4、并且将3台机器设置为免密码登录那种，因为3台机器是需要即时通讯，这里我就不描述如何配置免密码登录的步骤了；推荐一篇博客：（http://blog.csdn.net/leexide/article/details/17252369）

4.2、配置ZK

我的3台机器IP为：

机器1（CentOS-001）：172.16.98.160
机器2（CentOS-002）：172.16.98.162
机器3（CentOS-003）：172.16.98.161

将下载后的包解压，为了暂时的方便（生产建议专门放到规定的文件，比如：opt），我现在就放在home目录下面：

[chenyuan@vm-centos-001 ~]$ ll zookeeper-3.4.6
total 2040
drwxr-xr-x.  2 chenyuan chenyuan    4096 Oct 31 05:13 bin
-rw-rw-r--.  1 chenyuan chenyuan   82446 Feb 20  2014 build.xml
-rw-rw-r--.  1 chenyuan chenyuan   80776 Feb 20  2014 CHANGES.txt
drwxr-xr-x.  2 chenyuan chenyuan    4096 Oct 31 05:11 conf
drwxr-xr-x. 10 chenyuan chenyuan    4096 Feb 20  2014 contrib
drwxrwxr-x.  3 chenyuan chenyuan    4096 Oct 31 06:59 data
drwxrwxr-x.  3 chenyuan chenyuan    4096 Apr  3  2017 datalog
drwxr-xr-x.  2 chenyuan chenyuan    4096 Feb 20  2014 dist-maven
drwxr-xr-x.  6 chenyuan chenyuan    4096 Feb 20  2014 docs
-rw-rw-r--.  1 chenyuan chenyuan    1953 Feb 20  2014 ivysettings.xml
-rw-rw-r--.  1 chenyuan chenyuan    3375 Feb 20  2014 ivy.xml
drwxr-xr-x.  4 chenyuan chenyuan    4096 Feb 20  2014 lib
-rw-rw-r--.  1 chenyuan chenyuan   11358 Feb 20  2014 LICENSE.txt
-rw-rw-r--.  1 chenyuan chenyuan     170 Feb 20  2014 NOTICE.txt
-rw-rw-r--.  1 chenyuan chenyuan    1770 Feb 20  2014 README_packaging.txt
-rw-rw-r--.  1 chenyuan chenyuan    1585 Feb 20  2014 README.txt
drwxr-xr-x.  5 chenyuan chenyuan    4096 Feb 20  2014 recipes
drwxr-xr-x.  8 chenyuan chenyuan    4096 Feb 20  2014 src
-rw-rw-r--.  1 chenyuan chenyuan 1340305 Feb 20  2014 zookeeper-3.4.6.jar
-rw-rw-r--.  1 chenyuan chenyuan     836 Feb 20  2014 zookeeper-3.4.6.jar.asc
-rw-rw-r--.  1 chenyuan chenyuan      33 Feb 20  2014 zookeeper-3.4.6.jar.md5
-rw-rw-r--.  1 chenyuan chenyuan      41 Feb 20  2014 zookeeper-3.4.6.jar.sha1
-rw-rw-r--.  1 chenyuan chenyuan  490893 Apr  3  2017 zookeeper.out
[chenyuan@vm-centos-001 ~]$ pwd
/home/chenyuan

先一台一台的配置，后面2台的配置就与前面一致，只是有一点点的区别。
配置conf
复制一份zoo_sample.cfg为zoo.cfg

-rw-rw-r--. 1 chenyuan chenyuan  535 Feb 20  2014 configuration.xsl
-rw-rw-r--. 1 chenyuan chenyuan 2161 Feb 20  2014 log4j.properties
-rw-rw-r--. 1 chenyuan chenyuan 1082 Oct 31 05:11 zoo.cfg
-rw-rw-r--. 1 chenyuan chenyuan  922 Feb 20  2014 zoo_sample.cfg
[chenyuan@vm-centos-001 conf]$ pwd
/home/chenyuan/zookeeper/conf

然后，填写好我们的配置，具体如下：

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/home/chenyuan/zookeeper/data
dataLogDir=/home/chenyuan/zookeeper/datalog
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

server.0=vm-centos-001:2888:3888
server.1=vm-centos-002:2888:3888
server.2=vm-centos-003:2888:3888

配置好，dataDir、dataLogDir、server.0~server.3，这里用到的是vm-centos-001，这里去修改network。

[chenyuan@vm-centos-001 conf]$ vim /etc/sysconfig/network
[chenyuan@vm-centos-001 conf]$ 

打开里面的值,修改完毕后需要重启才生效，这个是永久有效。

NETWORKING=yes
HOSTNAME=vm-centos-001

并且把三台机器的hosts加上去

# VMWare CentOS
172.16.98.160 vm-centos-001
172.16.98.162 vm-centos-002
172.16.98.161 vm-centos-003

配置完毕后，启动第一个节点：

[chenyuan@vm-centos-001 zookeeper]$ ./bin/zkServer.sh start
JMX enabled by default
Using config: /home/chenyuan/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[chenyuan@vm-centos-001 zookeeper]$ 

验证ZooKeeper服务

再通jps看一下进程的启动情况

[chenyuan@vm-centos-001 zookeeper]$ jps
3851 QuorumPeerMain
3993 
Jps

然后通过zk的status明亮查看zk的leader与follower的节点：

[chenyuan@vm-centos-001 bin]$ sh zkServer.sh status
JMX enabled by default
Using config: /home/chenyuan/zookeeper/bin/../conf/zoo.cfg
Mode: follower

[chenyuan@vm-centos-002 bin]$ sh zkServer.sh status
JMX enabled by default
Using config: /home/chenyuan/zookeeper/bin/../conf/zoo.cfg
Mode: leader
[chenyuan@vm-centos-002 bin]$ 

[chenyuan@vm-centos-003 bin]$ sh zkServer.sh status
JMX enabled by default
Using config: /home/chenyuan/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[chenyuan@vm-centos-003 bin]$ 

不难看出来，vm-centos-002为leader节点，然后vm-centos-001与vm-centos-003为其follower节点。这样子，一个简单的Zookeeper环境就搭建出来了。

这些其实也是很久以前搭建的环境，只是今天抽空，把之前欠的东西回顾一下，写了这篇博客。如果有地方描述的不对或者模糊的，欢迎指定与交流。

http://static.cyblogs.com/15135197832243.jpg

参考地址

• http://www.cnblogs.com/yuyijq/p/3391945.html
• http://www.cnblogs.com/yuyijq/p/3424473.html
  如果大家喜欢我的文章，可以关注个人订阅号。欢迎随时留言、交流。
  
  简栈文化服务订阅号