ZooKeeper 集群管理秘籍：可视化工具助您掌控全局 (zookeeper的主要功能)

ZooKeeper 作为分布式应用协调服务的核心，其集群管理至关重要。本文将介绍一款强大的可视化工具，帮助您轻松掌控 ZooKeeper 集群的运行状态，提前发现问题，保障业务平稳运行。

ZooKeeper 的主要功能

• 分布式协调服务：ZooKeeper 提供分布式锁、分布式队列等协调机制，确保分布式系统中的节点能够协调工作。
• 配置管理：ZooKeeper 存储分布式系统中的配置信息，方便动态修改和更新。
• 命名服务：ZooKeeper 为分布式系统中的资源提供命名服务，简化资源定位和管理。
li> 状态管理：ZooKeeper 维护分布式系统中节点的状态信息，实现故障检测和恢复。

可视化工具的优势

使用可视化工具管理 ZooKeeper 集群具有以下优势：

• 直观展示：可视化工具将 ZooKeeper 集群的运行状态以图形化的方式呈现，方便您快速了解集群整体状况。
• 实时监控：可视化工具实时监控 ZooKeeper 集群的各项指标，及时发现问题并报警。
• 故障隔离：可视化工具可以帮助您隔离故障节点，快速定位问题根源。
• 数据备份：可视化工具提供 ZooKeeper 集群数据的备份和恢复功能，保障数据安全。

推荐的可视化工具：ZooInspector

ZooInspector 是业界公认的 ZooKeeper 可视化工具，它提供了一系列强大的功能，帮助您全面管理 ZooKeeper 集群。

• 树形视图：ZooInspector 以树形结构展示 ZooKeeper 集群中节点的布局，方便您查看节点的层级关系和数据内容。

---

Zookeeper（一）可以用来干什么？

当我们在学习一项新技术的时候，首先应了解的就是它是用来干什么的。下面一段话是来自Zookeeper官网的一段解释：

ZooKeeper用于为分布式应用程序提供分布式并且开源的协调服务。它公开了一组简单的原语，分布式应用程序可以基于这些原语来实现用于同步，配置维护以及组和命名的更高级别的服务。

对于不了解Zookeeper的初学者来说，看完是不是很懵逼？所以本文将从程序员的角色出发，引导大家快速的去了解Zookeeper能够用来干什么。以此作为学习Zookeeper的入门，希望能够帮助到大家。

操作基于node组成的树形模型的方法很简单，无非就是创建node，删除node，监听node等简单的操作。

在介绍Zookeeper的主要用途前，我们先按不同维度将node对象划分为几种类型。

综上，node可分为四大类。持久无序、持久有序、临时无序、临时有序。

到此，我们不妨思考一下，基于node的树形结构以及四种不同的分类，可以实现什么用途呢？

思考倒计时 10...... 思考倒计时9........ 思考倒计时8........ 思考倒计时0........

有没有跟笔者一样，一个都没想出来的同学？没关系，接下来就简明说说Zookeeper到底可以用来干什么?

获得锁时，无非就是多个客户端，争着抢着去创建同一个node节点，谁第一个创建成功，谁就获得锁。

释放时，抢到锁的客户端就去删除node，然后通知其他需要创建锁的客户端，去再次争抢创建node节点。

正如我们之前介绍的一共有四种类型的node，那么创建时我们该选择哪种类型呢？

如果选择持久node，那当持有该node锁的客户端出现网络故障后，会产生什么问题呢？客户端是不是就无法主动删除node，导致锁无法正常释放了！所以我们应选用临时node，这样即时故障后，node锁也会随着会话结束而删除。

至于有序还是无序的node，则需要根据不同类型的锁来选择。例如：实现非公平独占锁，我们就选择无序；实现公平锁或共享锁，我们就选择有序。实现原理很简单，小伙伴们可以自己稍作思考，本文不再细说。

Master的选举过程其实类似node锁的创建，删除与监听。

临时node由客户端A创建，所以客户端A所在服务器当选为master。

前面介绍过，node组成了树形结构。类似操作系统中的文件路径，树形分支上的node名称拼接成的全路径，它必定是唯一的。因此我们可以使用node的全路径作为命名方式。

本文作为Zookeeper的入门篇，主要从Node对象的角度讲解了Zookeeper可以用来干么。当然Node的设计还有更多可具体深入的地方。Zookeeper也不仅只有Node，还有更多值得我们学习的知识，例如：Watcher机制，如何保障事务的顺序一致性、集群间数据的一致性，以及必须要知道的ZAB协议等等。

最后祝大家看完此文后能够有所收获！

Zookeeper 理论基础

ZooKeeper 由雅虎研究院开发，后来捐赠给了 Apache。ZooKeeper 是一个开源的分布式应用程序协调服务器，其为分布式系统提供一致性服务。其一致性是通过基于 Paxos 算法的ZAB 协议完成的。其主要功能包括：配置维护、域名服务、分布式同步、集群管理等。 zookeeper 的官网：

zk 是如何保证分布式系统的一致性的呢？是因为 zk 具有以下几方面的特点：

对于zk 理论的学习，最重要也是最难的知识点就是 Paxos 算法。所以我们首先学习 Paxos算法。

Paxos 算法是莱斯利·兰伯特(Leslie Lamport)1990 年提出的一种基于消息传递的、具有高容错性的一致性算法。Google Chubby 的作者 Mike Burrows 说过，世上只有一种一致性算法， 那就是 Paxos，所有其他一致性算法都是 Paxos 算法的不完整版。Paxos 算法是一种公认的晦涩难懂的算法，并且工程实现上也具有很大难度。较有名的 Paxos 工程实现有Google Chubby、ZAB、微信的 PhxPaxos 等。 Paxos 算法是用于解决什么问题的呢？Paxos 算法要解决的问题是，在分布式系统中如何就某个决议达成一致。

拜占庭将军问题是由 Paxos 算法作者莱斯利·兰伯特提出的点对点通信中的基本问题。该问题要说明的含义是，在不可靠信道上试图通过消息传递的方式达到一致性是不可能的。所以，Paxos 算法的前提是不存在拜占庭将军问题，即信道是安全的、可靠的，集群节点间传递的消息是不会被篡改的。

一般情况下，分布式系统中各个节点间采用两种通讯模型：共享内存（Shared Memory）、消息传递（Messages Passing）。而 Paxos 是基于消息传递通讯模型的。

在 Paxos 算法中有三种角色，分别具有三种不同的行为。但很多时候，一个进程可能同时充当着多种角色。

Paxos 算法的一致性主要体现在以下几点：

Paxos 对于提案的提交算法有两种方案，2PC 与 3PC。

它们的区别主要就在于 accept 阶段中是否包含 commit 功能。具体看下面的描述。

Paxos 算法的 3PC 执行过程划分为三个阶段：准备阶段 prepare、接受阶段 accept，与提交阶段 commit。

若提案者接收到的反馈数量超过了半数，则其会向外广播两类信息：

2PC 与 3PC 的区别是，在提案者接收到超过半数的表决者对于 parepare 阶段的反馈后，其会向所有表决者发送真正的提案 proposal。当表决者接受到 proposal 后就直接将其同步到了本地，不用再等待 commit 消息了。

那么，为什么不直接使用 2PC，而要使用 3PC 呢？是因为 2PC 中存在着较多的弊端（这里就不再展开来说了）。所以很多 Paxos 工业实现使用的都是 3PC 提交。但 2PC 提交的效率要高于 3PC 提交，所以在保证不出问题的情况下，是可以使用 2PC 提交的。

前面所述的Paxos 算法在实际工程应用过程中，根据不同的实际需求存在诸多不便之处， 所以也就出现了很多对于基本 Paxos 算法的优化算法，以对 Paxos 算法进行改进，例如，Multi Paxos、Fast Paxos、EPaxos。

例如，Paxos 算法存在“活锁问题”，Fast Paxos 算法对 Paxos 算法进行了改进：只允许一个进程提交提案，即该进程具有对 N 的唯一操作权。该方式解决了“活锁”问题。

ZAB ，Zookeeper Atomic Broadcast，zk 原子消息广播协议，是专为 ZooKeeper 设计的一种支持崩溃恢复的原子广播协议，在 Zookeeper 中，主要依赖 ZAB 协议来实现分布式数据一致性。

Zookeeper 使用一个单一主进程来接收并处理客户端的所有事务请求，即写请求。当服务器数据的状态发生变更后，集群采用 ZAB 原子广播协议，以事务提案 Proposal 的形式广播到所有的副本进程上。ZAB 协议能够保证一个全局的变更序列，即可以为每一个事务分配一个全局的递增编号 xid。

当 Zookeeper 客户端连接到 Zookeeper 集群的一个节点后，若客户端提交的是读请求， 那么当前节点就直接根据自己保存的数据对其进行响应；如果是写请求且当前节点不是Leader，那么节点就会将该写请求转发给 Leader，Leader 会以提案的方式广播该写操作，只要有超过半数节点同意该写操作，则该写操作请求就会被提交。然后 Leader 会再次广播给所有订阅者，即 Learner，通知它们同步数据。

ZAB 协议是 Paxos 算法的一种工业实现算法。但两者的设计目标不太一样。ZAB 协议主要用于构建一个高可用的分布式数据主从系统，即 Follower 是 Leader 的从机，Leader 挂了， 马上就可以选举出一个新的 Leader，但平时它们都对外提供服务。而 Fast Paxos 算法则是用于构建一个分布式一致性状态机系统，确保系统中各个节点的状态都是一致的。

另外，ZAB 还使用 Google 的 Chubby 算法作为分布式锁的实现，而 Google 的 Chubby 也是 Paxos 算法的应用。

zk 集群对于事务请求的处理是 Fast Paxos 算法的体现，即只允许 Leader 提出提案。其属于 3PC 提交。

但 Leader 选举是 Paxos 算法的体现，因为 Leader 宕机后，所有 Follower 均可提交提案， 它们在最初都是“我选我”。其属于 2PC 提交。

为了避免 Zookeeper 的单点问题，zk 也是以集群的形式出现的。zk 集群中的角色主要有以下三类：

Learner：学习者，同步者。 Learner = Follower + Observer QuorumPeer = Participant = Leader + Follower

在 ZAB 中有三个很重要的数据：

ZAB 协议中对zkServer 的状态描述有三种模式。这三种模式并没有十分明显的界线，它们相互交织在一起。

zk 集群中的每一台主机，在不同的阶段会处于不同的状态。每一台主机具有四种状态。

在集群启动过程中，或 Leader 宕机后，集群就进入了恢复模式。恢复模式中最重要的阶段就是 Leader 选举。

A、serverId 这是zk 集群中服务器的唯一标识，也称为 sid，其实质就是 zk 中配置的 myid。例如， 有三个 zk 服务器，那么编号分别是 1,2,3。 B、 逻辑时钟 逻辑时钟，Logicalclock，是一个整型数，该概念在选举时称为 logicalclock，而在选举结束后称为epoch。即 epoch 与 logicalclock 是同一个值，在不同情况下的不同名称。

在集群启动过程中的 Leader 选举过程（算法）与 Leader 断连后的 Leader 选举过程稍微有一些区别，基本相同。

A、集群启动中的 Leader 选举

对于 Server1 而言，它的投票是(1, 0)，接收 Server2 的投票为(2, 0)。其首先会比较两者的 ZXID，均为 0，再比较 myid，此时 Server2 的 myid 最大，于是 Server1 更新自己的投票为(2, 0)，然后重新投票。对于 Server2 而言，其无须更新自己的投票，只是再次向集群中所有主机发出上一次投票信息即可。 (4) 统计投票。每次投票后，服务器都会统计投票信息，判断是否已经有过半机器接受到相同的投票信息。对于 Server1、Server2 而言，都统计出集群中已经有两台主机接受了(2, 0)的投票信息，此时便认为已经选出了新的 Leader，即 Server2。 (5) 改变服务器状态。一旦确定了 Leader，每个服务器就会更新自己的状态，如果是Follower，那么就变更为 FOLLOWING，如果是 Leader，就变更为 LEADING。 (6) 添加主机。在新的 Leader 选举出来后 Server3 启动，其想发出新一轮的选举。但由于当前集群中各个主机的状态并不是 LOOKING，而是各司其职的正常服务，所以其只能是以Follower 的身份加入到集群中。

B、 宕机后的 Leader 选举 在 Zookeeper 运行期间，Leader 与非 Leader 服务器各司其职，即便当有非 Leader 服务器宕机或新加入时也不会影响 Leader。但是若 Leader 服务器挂了，那么整个集群将暂停对外服务，进入新一轮的 Leader 选举，其过程和启动时期的 Leader 选举过程基本一致。

前面我们说过，恢复模式具有两个阶段：Leader 选举与初始化同步。当完成 Leader 选举后，此时的 Leader 还是一个准 Leader，其要经过初始化同步后才能变为真正的 Leader。

具体过程如下：

当集群中的 Learner 完成了初始化状态同步，那么整个 zk 集群就进入到了正常工作模式了。 如果集群中的 Learner 节点收到客户端的事务请求，那么这些 Learner 会将请求转发给Leader 服务器。然后再执行如下的具体过程：

Observer 数量并不是越多越好，一般与 Follower 数量相同。因为 Observer 数量的增多虽不会增加事务操作压力，但其需要从 Leader 同步数据，Observer 同步数据的时间是小于等于 Follower 同步数据的时间的。当 Follower 同步数据完成，Leader 的 Observer 列表中的Observer 主机将结束同步。那些完成同步的 Observer 将会进入到另一个对外提供服务的列表。那么，那些没有同步了数据无法提供服务的 Observer 主机就形成了资源浪费。 所以，对于事务操作发生频繁的系统，不建议使用过多的 Observer。

Leader 中保存的 Observer 列表其实有两个： all：包含所有 Observer。 service：已经完成了从 Leader 同步数据的任务。service <= all。其是动态的。

Leader 中保存的 Follower 列表其实也有两个： all：要求其中必须有过半的 Follower 向Leader 反馈ACK service：

当集群正在启动过程中，或 Leader 崩溃后，集群就进入了恢复模式。对于要恢复的数据状态需要遵循三个原则。

若集群中 Leader 收到的 Follower 心跳数量没有过半，此时 Leader 会自认为自己与集群的连接已经出现了问题，其会主动修改自己的状态为 LOOKING，去查找新的 Leader。 而其它 Server 由于有过半的主机认为已经丢失了 Leader，所以它们会发起新的 Leader选举，选出一个新的 Leader。

正常情况下，当 Leader 收到超过半数 Follower 的 ACKs 后，就向各个 Follower 广播COMMIT 消息，批准各个Server 执行该写操作事务。当各个Server 在接收到Leader 的COMMIT 消息后就会在本地执行该写操作，然后会向客户端响应写操作成功。 但是如果在非全部 Follower 收到 COMMIT 消息之前 Leader 就挂了，这将导致一种后果：部分 Server 已经执行了该事务，而部分 Server 尚未收到 COMMIT 消息，所以其并没有执行该事务。当新的 Leader 被选举出，集群经过恢复模式后需要保证所有 Server 上都执行了那些已经被部分 Server 执行过的事务。

当在 Leader 新事务已经通过，其已经将该事务更新到了本地，但所有 Follower 还都没有收到 COMMIT 之前，Leader 宕机了，此时，所有 Follower 根本就不知道该 Proposal 的存在。当新的 Leader 选举出来，整个集群进入正常服务状态后，之前挂了的 Leader 主机重新启动并注册成为了 Follower。若那个别人根本不知道的 Proposal 还保留在那个主机，那么其数据就会比其它主机多出了内容，导致整个系统状态的不一致。所以，该 Proposa 应该被丢弃。类似这样应该被丢弃的事务，是不能再次出现在集群中的，应该被清除。

前面我们说过，无论是写操作投票，还是 Leader 选举投票，都必须过半才能通过，也就是说若出现超过半数的主机宕机，则投票永远无法通过。基于该理论，由 5 台主机构成的集群，最多只允许 2 台宕机。而由 6 台构成的集群，其最多也只允许 2 台宕机。即，6 台与5 台的容灾能力是相同的。基于此容灾能力的原因，建议使用奇数台主机构成集群，以避免资源浪费。 但从系统吞吐量上说，6 台主机的性能一定是高于 5 台的。所以使用 6 台主机并不是资源浪费。

对于一个高可用的系统，除了要设置多台主机部署为一个集群避免单点问题外，还需要考虑将集群部署在多个机房、多个楼宇。对于多个机房、楼宇中集群也是不能随意部署的， 下面就多个机房的部署进行分析。 在多机房部署设计中，要充分考虑“过半原则”，也就是说，尽量要确保 zk 集群中有过半的机器能够正常运行。

在生产环境下，三机房部署是最常见的、容灾性最好的部署方案。三机房部署中要求每个机房中的主机数量必须少于集群总数的一半。

zk 官方没有给出较好的双机房部署的容灾方案。只能是让其中一个机房占有超过半数的主机，使其做为主机房，而另一机房少于半数。当然，若主机房出现问题，则整个集群会瘫痪。

CAP 定理又称 CAP 原则，指的是在一个分布式系统中，Consistency（一致性）、Availability（可用性）、Partition tolerance（分区容错性），三者不可兼得。

对于分布式系统，网络环境相对是不可控的，出现网络分区是不可避免的，因此系统必须具备分区容错性。但其并不能同时保证一致性与可用性。CAP 原则对于一个分布式系统来说，只可能满足两项，即要么 CP，要么 AP。

BASE 是Basically Available（基本可用）、Soft state（软状态）和 Eventually consistent（最终一致性）三个短语的简写。

BASE 理论的核心思想是：即使无法做到实时一致性，但每个系统都可以根据自身的业务特点，采用适当的方式来使系统达到最终一致性。

基本可用是指分布式系统在出现不可预知故障的时候，允许损失部分可用性。 损失响应时间： 损失功能：

软状态，是指允许系统数据存在的中间状态，并认为该中间状态的存在不会影响系统的整体可用性，即允许系统主机间进行数据同步的过程存在一定延时。软状态，其实就是一种灰度状态，过渡状态。

最终一致性强调的是系统中所有的数据副本，在经过一段时间的同步后，最终能够达到一个一致的状态。因此，最终一致性的本质是需要系统保证最终数据能够达到一致，而不需要实时保证系统数据的一致性。

从达到一致性的时间角度来划分，可以分为：

单从客户端访问到的内容角度来划分，可以分为：

zk 遵循的是 CP 原则，即保证了一致性，但牺牲了可用性。体现在哪里呢？

当 Leader 宕机后，zk 集群会马上进行新的 Leader 的选举。但选举时长一般在 200 毫秒内，最长不超过 60 秒，整个选举期间 zk 集群是不接受客户端的读写操作的，即 zk 集群是处于瘫痪状态的。所以，其不满足可用性。

这里说的zk可能会引发脑裂，是指的在多机房部署中，若出现了网络连接问题，形成多个分区，则可能会出现脑裂问题，可能会导致数据不一致。 （1）情况一

（2）情况二

（5）情况五

Zookeeper-Zookeeper可以干什么

在Zookeeper的官 网上有这么一句话：ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. 这大概描述了Zookeeper主要可以干哪些事情：配置管理，名字服务，提供分布式同步以及集群管理。 那这些服务又到底是什么呢？我们为什么需要这样的服务？我们又为什么要使用Zookeeper来实现呢，使用Zookeeper有什么优势？接下来我会挨个介绍这些到底是什么，以及有哪些开源系统中使用了。 配置管理在我们的应用中除了代码外，还有一些就是各种配置。 比如数据库连接等。 一般我们都是使用配置文件的方式，在代码中引入这些配置文件。 但是当我们只有一种配置，只有一台服务器，并且不经常修改的时候，使用配置文件是一个很好的做法，但是如果我们配置非常多，有很多服务器都需要这个配置，而且还可能是动态的话使用配置文件就不是个好主意了。 这个时候往往需要寻找一种集中管理配置的方法，我们在这个集中的地方修改了配置，所有对这个配置感兴趣的都可以获得变更。 比如我们可以把配置放在数据库里，然后所有需要配置的服务都去这个数据库读取配置。 但是，因为很多服务的正常运行都非常依赖这个配置，所以需要这个集中提供配置服务的服务具备很高的可靠性。 一般我们可以用一个集群来提供这个配置服务，但是用集群提升可靠性，那如何保证配置在集群中的一致性呢？ 这个时候就需要使用一种实现了一致性协议的服务了。 Zookeeper就是这种服务，它使用Zab这种一致性协议来提供一致性。 现在有很多开源项目使用Zookeeper来维护配置，比如在HBase中，客户端就是连接一个Zookeeper，获得必要的HBase集群的配置信息，然后才可以进一步操作。 还有在开源的消息队列Kafka中，也使用Zookeeper来维护broker的信息。 在Alibaba开源的SOA框架Dubbo中也广泛的使用Zookeeper管理一些配置来实现服务治理。 名字服务名字服务这个就很好理解了。 比如为了通过网络访问一个系统，我们得知道对方的IP地址，但是IP地址对人非常不友好，这个时候我们就需要使用域名来访问。 但是计算机是不能是别域名的。 怎么办呢？如果我们每台机器里都备有一份域名到IP地址的映射，这个倒是能解决一部分问题，但是如果域名对应的IP发生变化了又该怎么办呢？于是我们有了DNS这个东西。 我们只需要访问一个大家熟知的(known)的点，它就会告诉你这个域名对应的IP是什么。 在我们的应用中也会存在很多这类问题，特别是在我们的服务特别多的时候，如果我们在本地保存服务的地址的时候将非常不方便，但是如果我们只需要访问一个大家都熟知的访问点，这里提供统一的入口，那么维护起来将方便得多了。 分布式锁其实在第一篇文章中已经介绍了Zookeeper是一个分布式协调服务。 这样我们就可以利用Zookeeper来协调多个分布式进程之间的活动。 比如在一个分布式环境中，为了提高可靠性，我们的集群的每台服务器上都部署着同样的服务。 但是，一件事情如果集群中的每个服务器都进行的话，那相互之间就要协调，编程起来将非常复杂。 而如果我们只让一个服务进行操作，那又存在单点。 通常还有一种做法就是使用分布式锁，在某个时刻只让一个服务去干活，当这台服务出问题的时候锁释放，立即fail over到另外的服务。 这在很多分布式系统中都是这么做，这种设计有一个更好听的名字叫Leader Election(leader选举)。 比如HBase的Master就是采用这种机制。 但要注意的是分布式锁跟同一个进程的锁还是有区别的，所以使用的时候要比同一个进程里的锁更谨慎的使用。 集群管理在分布式的集群中，经常会由于各种原因，比如硬件故障，软件故障，网络问题，有些节点会进进出出。 有新的节点加入进来，也有老的节点退出集群。 这个时候，集群中其他机器需要感知到这种变化，然后根据这种变化做出对应的决策。 比如我们是一个分布式存储系统，有一个中央控制节点负责存储的分配，当有新的存储进来的时候我们要根据现在集群目前的状态来分配存储节点。 这个时候我们就需要动态感知到集群目前的状态。 还有，比如一个分布式的SOA架构中，服务是一个集群提供的，当消费者访问某个服务时，就需要采用某种机制发现现在有哪些节点可以提供该服务(这也称之为服务发现，比如Alibaba开源的SOA框架Dubbo就采用了Zookeeper作为服务发现的底层机制)。 还有开源的Kafka队列就采用了Zookeeper作为Cosnumer的上下线管理。 后记在这篇文章中，列出了一些Zookeeper可以提供的服务，并给出了一些开源系统里面的实例。 后面我们从Zookeeper的安装配置开始，并用示例进一步介绍Zookeeper如何使用。 (转载）

若对本页面资源感兴趣，请点击下方或右方图片，注册登录后

搜索本页相关的【资源名】【软件名】【功能词】或有关的关键词，即可找到您想要的资源

如有其他疑问，请咨询右下角【在线客服】，谢谢支持！