进阶分布式系统架构系列（一）：Zookeeper 基础概念、功能与应用场景

民工哥

发布于 2023-08-22 14:28:27

3K0

什么是 Zookeeper

zooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。

官方文档上这么解释zookeeper，它是一个分布式协调框架，是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。是一个为分布式应用提供一致性服务的软件。

zooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

官网：https://zookeeper.apache.org/

为什么要使用Zookeeper

在大型企业的开发中，服务的数量是十分庞大的。如果我们想要添加一个服务的话，那么就需要对文件进行重新覆盖，把整个容器重启。这样导致的结果是就是：波及影响太大，维护十分困难。

此时，便需要一个能够动态注册服务和获取服务信息的地方，来统一管理服务，这个地方便称为称为服务配置中心。而zookeeper不仅实现了对cusumer和provider的灵活管理，平滑过渡功能，而且还内置了负载均衡、主动通知等功能，使我们能够几乎实时的感应到服务的状态。能够很好的帮我们解决分布式相关的问题，至今仍是市面上主流的分布式服务注册中心技术之一。

Zookeeper 基本概念

集群角色

通常在分布式系统中，构成⼀个集群的每⼀台机器都有自己的角色，最典型的集群就是Master/Slave模式（主备模式），此情况下把所有能够处理写操作的机器称为Master机器，把所有通过异步复制方式获取最新数据，并提供读服务的机器为Slave机器。

而在Zookeeper中，这些概念被颠覆了。它没有沿用传递的Master/Slave概念，而是引入了Leader、Follower、Observer三种角色。Zookeeper集群中的所有机器通过Leader选举来选定⼀台被称为Leader的机器，Leader服务器为客户端提供读和写服务，除Leader外，其他机器包括Follower和Observer,Follower和Observer都能提供读服务，唯⼀的区别在于Observer不参与Leader选举过程，不参与写操作的过半写成功策略，因此Observer可以在不影响写性能的情况下提升集群的性能。

会话（session）

Session指客户端会话，⼀个客户端连接是指客户端和服务端之间的⼀个TCP长连接，Zookeeper对外的服务端口默认为2181，客户端启动的时候，⾸先会与服务器建立⼀个TCP连接，从第⼀次连接建立开始，客户端会话的生命周期也开始了，通过这个连接，客户端能够心跳检测与服务器保持有效的会话，也能够向Zookeeper服务器发送请求并接受响应，同时还能够通过该连接接受来自服务器的Watch事件通知。

数据节点（Znode）

在谈到分布式的时候，我们通常说的“节点”是指组成集群的每⼀台机器。然而，在ZooKeeper中，“节点”分为两类，第⼀类同样是指构成集群的机器，我们称之为机器节点；第⼆类则是指数据模型中的数据单元，我们称之为数据节点--ZNode。ZooKeeper将所有数据存储在内存中，数据模型是⼀棵树（ZNode Tree），由斜杠（/）进行分割的路径，就是⼀个Znode，例如/app/path1。每个ZNode上都会保存自己的数据内容，同时还会保存⼀系列属性信息。

版本

刚刚我们提到，Zookeeper的每个Znode上都会存储数据，对于每个ZNode，Zookeeper都会为其维护⼀个叫作Stat的数据结构，Stat记录了这个ZNode的三个数据版本，分别是version（当前ZNode的版本）、cversion（当前ZNode子节点的版本）、aversion（当前ZNode的ACL版本）。

Watcher（事件监听器）

Wathcer（事件监听器），是Zookeeper中⼀个很重要的特性，Zookeeper允许用户在指定节点上注册⼀些Watcher，并且在⼀些特定事件触发的时候，Zookeeper服务端会将事件通知到感兴趣的客户端，该机制是Zookeeper实现分布式协调服务的重要特性。

ACL

Zookeeper采用ACL（Access Control Lists）策略来进行权限控制，其定义了如下五种权限：

CREATE：创建子节点的权限。
READ：获取节点数据和子节点列表的权限。
WRITE：更新节点数据的权限。
DELETE：删除子节点的权限。
ADMIN：设置节点ACL的权限。

其中需要注意的是，CREATE 和 DELETE 这两种权限都是针对子节点的权限控制。

Zookeeper 核心概念

Zookeeper 是一个用于存储少量数据的基于内存的数据库，zookeeper中的数据是存储在内存当中的，因此它的效率十分高效。它内部的存储方式十分类似于文件存储结构，采用了分层存储结构。但是它和文件存储结构的区别是，它的各个节点中是允许存储数据的，需要注意的是zk的每个节点存储数据不能超过1M。它的内存数据结果如下图：

我们可以通过不同的路径访问到不同的节点，因为它是分层结构，我们也可以通过某一个父节点，获取到该节点下的所有子节点信息。

zk只提供了几个简单的api，但是我们可以通过灵活使用这些api的组合，来实现我们复杂的业务要求：

create：创建一个新节点，通过指定路径的方式创建节点，例如创建路径为/A/A1/demo，则会在A1节点下创建一个demo节点；
delete：删除节点，通过路径的方式删除节点，如果删除路径为/A/A1/demo，则会删除A1节点下的demo节点；
exists：判断指定路径下的节点是否存在，例如判断路径为/A/A1/demo，则会判断A1节点下的demo节点是否存在；
get：获取指定路径下某个节点的值是什么，例如获取路径为/A/A1/demo，则会获取A1节点下的demo节点的值什么；
set：为指定路径的节点进行赋值操作，例如修改路径为/A/A1/demo，则会修改A1节点下的demo节点的值；
get children：获取指定路径节点下的子节点信息，例如获取路径为/A，则会获取A节点下的A1和A2节点；
sync：获取到同步数据，这个涉及到了zk的原理，zk集群属于最终一致性，调用该方法，可以获取到最终的结果值，如果不使用该方法，在查询的时候可能获取到的值是中间值；

zk中创建的节点分为两种：永久性节点和临时性节点。永久性节点即创建以后，在不执行delete命令的前提下，该节点是永久存在的；而临时节点与session有关，每个客户端与zk建立链接的时候会生成一个session，这个session不会因为链接zk服务器节点的变化而变化，只有当客户端断开连接以后，该session才会消失，而临时节点会随着session的消失而消失。

主要有如下两个核心的概念：文件系统数据结构+监听通知机制。

文件系统数据结构

Zookeeper维护一个类似文件系统的数据结构：

每个子目录项都被称作为 znode(目录节点)，和文件系统类似，我们能够自由的增加、删除 znode，在一个znode下增加、删除子znode。有六种类型的znode：

1、PERSISTENT持久化目录节点,客户端与zookeeper断开连接后，该节点依旧存在，只要不手动删除该节点，他将永远存在。
2、PERSISTENT_SEQUENTIAL持久化顺序编号目录节点,客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号。
3、EPHEMERAL临时目录节点,客户端与zookeeper断开连接后，该节点被删除。
4、EPHEMERAL_SEQUENTIAL临时顺序编号目录节点客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号。
5、Container 节点（3.5.3 版本新增，如果Container节点下面没有子节点，则Container节点在未来会被Zookeeper自动清除,定时任务默认60s 检查一次）。
6、TTL 节点( 默认禁用，只能通过系统配置 zookeeper.extendedTypesEnabled=true 开启，不稳定)。

监听机制

客户端注册监听它关心的任意节点，或者目录节点及递归子目录节点：

1.如果注册的是对某个节点的监听，则当这个节点被删除，或者被修改时，对应的客户端将被通知。
2.如果注册的是对某个目录的监听，则当这个目录有子节点被创建，或者有子节点被删除，对应的客户端将被通知。
3.如果注册的是对某个目录的递归子节点进行监听，则当这个目录下面的任意子节点有目录结构的变化（有子节点被创建，或被删除）或者根节点有数据变化时，对应的客户端将被通知。

注意：所有的通知都是一次性的，及无论是对节点还是对目录进行的监听，一旦触发，对应的监听即被移除。递归子节点，监听是对所有子节点的，所以，每个子节点下面的事件同样只会被触发一次。

zookeeper 重要特性

顺序一致性：来自客户端的相关指令会按照顺序执行，不会出现乱序的情况，客户端发送到服务的指令1->2->3->4，那个这些指令就会按照顺序执行；
原子性：更新只有成功和失败，没有中间状态；
可靠性：也可以称之为持久性，节点更新以后，在下次更新之前，它的数据不会发生变更；
准实时性：也可以称之为最终一致性，在zk集群中，一个客户端修改了其中的一个节点，一定时间以后，所有可用的服务对应的节点都会变成更新以后的值。

zookeeper 主要功能

配置管理

在多个应用程序(或服务器)中，假如存在一些相同的配置信息，在对该配置信息进行修改时，我们需要一个一个进行修改，这样会大大增加维护的成本，不方便管理。这时如果使用一个专门放配置中心的组件，将相同的配置信息放在配置中心，需要的时候直接拉取，这样可以大大节约维护的成本, 而zookeeper即可实现配置中心的功能。

分布式锁

在多个用户访问同一台主机上的应用程序数据时，我们可以通过加锁解决并发操作的问题，但是如果有多台主机相同的应用程序要访问同一数据时，这个时候我们在一台主机上加锁是不能解决另一台主机的并发问题的，换句话说自己的锁只对自己有效并不影响别的，这个时候就需要分布式锁解决这类问题，我个人理解分布式锁像是从所有主机中抽取出来的一把锁，或者是有一把总锁对所有主机都有效。zookeeper可以实现分布式锁的功能。