zookeeper知识点讲解(二)——选举算法和节点介绍

一、概述

前面一篇文章讲到了

zookeeper的相关概念知识和搭建环境过程

,这篇文章主要讲zookeeper的选举方式和节点信息。选举方式先讲理论,然后再讲算法演示过程(通过前面搭建的伪分布式环境)。我们将回忆一下集群的一致性:

i.Zookeeper集群角色

a.Leader:

集群工作机制中的核心,作用如下: 事务请求的唯一调度和处理者,保证集群事务处理的顺序性。集群内部个服务器的调度者(管理follower,数据同步) 。

b.Follower:

集群工作机制中的跟随者,作用如下:

处理非事务请求,转发事务请求给Leader

参与事务请求proposal投票

参与leader选举投票

c.tips:

通过stat命令可以查看服务器角色

b.Observer:

3.30以上版本提供,和follower功能相同,但不参与 任何形式投票,作用:

处理非事务请求,转发事务请求给 Leader;提高集群非事务处理能力 配置: peerType=observer server.3=1270.0.1:2888:3888:observer。

注意:

在dataDir所配置的目录下,创建一个名为myid的文件,在该文件的第一行写上 一个数字,和zoo.cfg中当前机器的编号对应上。

二、zookeeper的数据模型

zooKeeper的视图结构和标准的Unix文件系统类似,其中每个节点称为“数据节点 ”或ZNode,每个znode可以存储数据,还可以挂载子节点,因此可以称之为“树”.特性:

a.在Zookeeper中,znode是一个跟 Unix文件系统路径相似的节点,可以往这个节点存储或获取数据。

b.通过客户端可对znode进行增删改 查的操作,还可以注册watcher监 控znode的变化。

三、zookeeper的数据节点

i.四种节点:

持久节点(PERSISTENT)

持久顺序节点(PERSISTENT_SEQUENTIAL)

临时节点(EPHEMERAL)

临时顺序节点(EPHEMERAL_SEQUENTIAL

ii.数据节点概念

data:Znode存储的数据信息。

ACL:记录Znode的访问权限,即哪些人或哪些IP可以访问本节点。

stat:包含Znode的各种元数据,比如事务ID、版本号、时间戳、大小等等。

child:当前节点的子节点引用,类似于二叉树的左孩子右孩子。

这里需要注意一点,Zookeeper是为读多写少的场景所设计。Znode并不是用来存储大规模业务数据,而是用于存储少量的状态和配置信息,每个节点的数据最大不能超过1MB。

四、zookeeper的一致性-协议ZAB解析

ZAB 协议是为分布式协调服务 zooKeeper 专门设计的一种支持崩溃恢复的原子广 播协议。在 zooKeeper 中,主要依赖 ZAB 协议来实现分布式数据一致性; ZAB协议两种模式:消息广播和崩溃恢复。

什么是Broadcast呢?简单来说,就是zookeeper常规情况下更新数据的时候,由Leader广播到所有的Follower。其过程如下:

1.客户端发出写入数据请求给任意Follower。

2.Follower把写入数据请求转发给Leader。

3.Leader采用二阶段提交方式,先发送Propose广播给Follower。

4.Follower接到Propose消息,写入日志成功后,返回ACK消息给Leader。

5.Leader接到半数以上ACK消息,返回成功给客户端,并且广播Commit请求给Follower。

假如zookeeper当前的主节点挂掉了,集群会进行崩溃恢复。

1. 每个Server会发出一个投票,第一次都是投自己。投票信息:(myid,ZXID)。

2. 收集来自各个服务器的投票。

3. 处理投票并重新投票,处理逻辑:优先比较ZXID,然后比较myid。

4. 统计投票,只要超过半数的机器接收到同样的投票信息,就可以确定leader。

5. 改变服务器状态。

五、崩溃服务演示

首先连接到zk的服务器Linux虚拟机,由于实际使用的IP地址我将不暴露用127.0.0.1代替,同时集群的5台机器,我将用端口号进行区别。然后执行下面的命令:

[root@localhost zk]#echo stat | nc 127.0.0.1(ip地址) 2183

Clients:

/127.0.0.1:35836[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0

Received: 1

Sent: 0

Connections: 1

Outstanding: 0

Mode:follower

Node count: 8

执行上面的命令我们可以看到该台zk服务器的相关信息,注意有个Zxid这就是我们所需要的,然后依次执行每台服务器的信息。我们可以找出:

leader主机:Zxid为0x500000000,同时2182也为0x500000000。猜测如果主机出现故障,下一个被选举的为2182的服务器,也为Zxid比其他的都大。

该主机信息:

[root@localhost zk]#echo stat | nc 1270.00.1 2181

Clients:

/127.0.0.1:46580[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0

Received: 1

Sent: 0

Connections: 1

Outstanding: 0

Mode:leader

Node count: 8

[root@localhost zk]#echo stat | nc 127.0.01 2182

Clients:

/127.0.0.1:54516[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0

Received: 1

Sent: 0

Connections: 1

Outstanding: 0

Mode:follower

Node count: 8

证明猜测,使用docker找到容器的ID,使用命令暂停ID。

[root@localhost zk]#docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

587680375df3 zookeeper "/docker-entrypoin..." 14 minutes ago Up 3 minutes 2888/tcp, 3888/tcp, 0.0.0.0:2184->2181/tcp test_zk3

0ba5f02ca90e zookeeper "/docker-entrypoin..." 14 minutes ago Up 3 minutes 2888/tcp, 3888/tcp, 0.0.0.0:2183->2181/tcp test_zk2

9e2abd6bb9b3 zookeeper "/docker-entrypoin..." 14 minutes ago Up 3 minutes 2888/tcp, 0.0.0.0:2181->2181/tcp, 3888/tcp test_zk

765428b07efc zookeeper "/docker-entrypoin..." 14 minutes ago Up 3 minutes 2888/tcp, 3888/tcp, 0.0.0.0:2182->2181/tcp test_zk1

e09af57d0fde zookeeper "/docker-entrypoin..." 14 minutes ago Up 3 minutes 2888/tcp, 3888/tcp, 0.0.0.0:2185->2181/tcp test_zk4

[root@localhost zk]#docker stop 9e2abd6bb9b3

9e2abd6bb9b3

[root@localhost zk]#docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

587680375df3 zookeeper "/docker-entrypoin..." 15 minutes ago Up 4 minutes 2888/tcp, 3888/tcp, 0.0.0.0:2184->2181/tcp test_zk3

0ba5f02ca90e zookeeper "/docker-entrypoin..." 15 minutes ago Up 4 minutes 2888/tcp, 3888/tcp, 0.0.0.0:2183->2181/tcp test_zk2

765428b07efc zookeeper "/docker-entrypoin..." 15 minutes ago Up 4 minutes 2888/tcp, 3888/tcp, 0.0.0.0:2182->2181/tcp test_zk1

e09af57d0fde zookeeper "/docker-entrypoin..." 15 minutes ago Up 4 minutes 2888/tcp, 3888/tcp, 0.0.0.0:2185->2181/tcp test_zk4

确保该容器服务已经停止:

[root@localhost zk]# echo stat | nc 127.0.0.1 2181

Ncat: Connection refused.

结果证明:猜测正确。

[root@localhost zk]#echo stat | nc 127.0.0.1 2182

Clients:

/127.0.0.1:54548[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0

Received: 1

Sent: 0

Connections: 1

Outstanding: 0

Mode: leader

Node count: 8

结果:根据上述的算法和演示结果,我们可以得出2182是下一台zk集群的leader。同时Zxid也已经变了,就是重新选举之后,Zxid也会跟踪变动。

那就有这样一个问题,如果之前那台2181的服务器已经好了,还会进行重新选举吗?

关闭的主机再次重启。

[root@localhost zk]#docker run --name test_zk -d zookeeper

/usr/bin/docker-current: Error response from daemon: Conflict. The container name "/test_zk" is already in use by container 9e2abd6bb9b3e011cdd73b4001c0d50c7221ae0a806ad20652af41f4dba58d40. You have to remove (or rename) that container to be able to reuse that name..

See '/usr/bin/docker-current run --help'.

[root@localhost zk]#docker start 9e2abd6bb9b3e011cdd73b4001c0d50c7221ae0a806ad20652af41f4dba58d40

9e2abd6bb9b3e011cdd73b4001c0d50c7221ae0a806ad20652af41f4dba58d40

[root@localhost zk]#docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

587680375df3 zookeeper "/docker-entrypoin..." 24 minutes ago Up 12 minutes 2888/tcp, 3888/tcp, 0.0.0.0:2184->2181/tcp test_zk3

0ba5f02ca90e zookeeper "/docker-entrypoin..." 24 minutes ago Up 12 minutes 2888/tcp, 3888/tcp, 0.0.0.0:2183->2181/tcp test_zk2

9e2abd6bb9b3 zookeeper "/docker-entrypoin..." 24 minutes ago Up 11 seconds 2888/tcp, 0.0.0.0:2181->2181/tcp, 3888/tcp test_zk

765428b07efc zookeeper "/docker-entrypoin..." 24 minutes ago Up 12 minutes 2888/tcp, 3888/tcp, 0.0.0.0:2182->2181/tcp test_zk1

e09af57d0fde zookeeper "/docker-entrypoin..." 24 minutes ago Up 12 minutes 2888/tcp, 3888/tcp, 0.0.0.0:2185->2181/tcp test_zk4

[root@localhost zk]#echo stat | nc 127.0.0.1 2181

Clients:

/127.0.0.1:46640[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0

Received: 1

Sent: 0

Connections: 1

Outstanding: 0

Mode: follower

Node count: 8

[root@localhost zk]#echo stat | nc 127.0.0.1 2182

Clients:

/127.0.0.1:54580[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0

Received: 2

Sent: 1

Connections: 1

Outstanding: 0

Mode: leader

Node count: 8

我们将发现,Zxid是一样的,但是Mode却还是以端口为2182为leader。对于集群中已经存在Leader而言,此种情况一般都是某台机器启动得较晚,在其启动之前,集群已经在正常工作,对这种情况,该机器试图去选举Leader时,会被告知当前服务器的Leader信息,对于该机器而言,仅仅需要和Leader机器建立起连接,并进行状态同步即可。

补充知识点:

1.zookeeper客户端操作命令:

进入之后的操作命令:

1. 显示根目录下、文件: ls / 使用 ls 命令来查看当前 ZooKeeper 中所包含的内容

2. 显示根目录下、文件: ls2 / 查看当前节点数据并能看到更新次数等数据

3. 创建文件,并设置初始内容: create /zk "test" 创建一个新的 znode节点“ zk ”以及与它关联的字符串

4. 获取文件内容: get /zk 确认 znode 是否包含我们所创建的字符串

5. 修改文件内容: set /zk "zkbak" 对 zk 所关联的字符串进行设置

6. 删除文件: delete /zk 将刚才创建的 znode 删除

7. 退出客户端: quit

8. 帮助命令: help

2. 常用命令

ZooKeeper 支持某些特定的四字命令字母与其的交互。用来获取 ZooKeeper 服务的当前状态及相关信息。可通过 telnet 或 nc 向 ZooKeeper 提交相应的命令 :

1. echo stat|nc 127.0.0.1 2181 来查看哪个节点被选择作为follower或者leader

2. 使用echo ruok|nc 127.0.0.1 2181 测试是否启动了该Server,若回复imok表示已经启动。

3. echo dump| nc 127.0.0.1 2181 ,列出未经处理的会话和临时节点。

4. echo kill | nc 127.0.0.1 2181 ,关掉server

5. echo conf | nc 127.0.0.1 2181 ,输出相关服务配置的详细信息。

6. echo cons | nc 127.0.0.1 2181 ,列出所有连接到服务器的客户端的完全的连接 / 会话的详细信息

7. echo envi |nc 127.0.0.1 2181 ,输出关于服务环境的详细信息(区别于 conf 命令)。

8. echo reqs | nc 127.0.0.1 2181 ,列出未经处理的请求。

9. echo wchs | nc 127.0.0.1 2181 ,列出服务器 watch 的详细信息。

10.echo wchc | nc 127.0.0.1 2181 ,通过 session 列出服务器 watch 的详细信息,它的输出是一个与 watch 相关的会话的列表。

11.echo wchp | nc 127.0.0.1 2181 ,通过路径列出服务器 watch 的详细信息。它输出一个与 session 相关的路径。

下一篇我们将介绍zk的分布式锁和服务注册,同时将服务注册的源码公布出来放到GitHub上。欢迎关注繁荣Aaron:

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180721G10KLF00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券