专栏首页龙首琴剑庐Zookeeper 集群角色、原理

Zookeeper 集群角色、原理

Zookeeper 的集群角色

集群中的 server 分为三种角色:leader, follower, observer

  • 其中observer是配置zoo.cfg明确定义的,角色leader 在一个zookeeper集群中有且只能有一个,是通过内部的选举机制临时产生的。
  • leader 是集群中最重要的角色。负责响应集群的所有对Zookeeper数据状态变更的请求。它会将每个状态更新请求进行顺序管理,以便保证整个集群内部消息处理的 FIFO,遵循了顺序一致性(Sequential Consistency)。
    • leader 内部维护 session ,来自客户端的连接和断开连接,都会被统一followerobserver 转发给leader处理。
    • leader 内部维护单调递增的 Zxid(ZooKeeper Transaction Id),针对客户端连接,断开连接,节点的写操作都会分配一个全局唯一的Zxid,同时这些操作是原子性的,并且是严格顺序性的,遵循ZAB原子广播一致性协议完成事务(transaction)操作。如果客户端的所有写操作,都会被 follower 统一转发给leader处理。
  • follower 具有选举权。负责提供给客户端读写服务,需要响应leader的提议
  • observer 没有选举权。主要提供给客户端读服务,不提供写服务,也不需要响应leader的提议。也不需要日志文件,因为没有写服务,没有持久化的需要。
Server状态
  • LOOKING,竞选状态。
  • FOLLOWING,随从状态,同步leader状态,参与投票决策提案。
  • OBSERVING,观察状态,同步leader状态,不参与投票决策提案。
  • LEADING,领导者状态,发起正常消息的提案。

Zookeeper 的存储

zookeeper中的znode数据都是在内存中优先维护和提供读服务,当事务被提交以及最终提交都会持久化到磁盘的日志文件中。

Zookeeper 的内部网络拓扑

Zookeeper 在内部网络中如何实现两两连接的?

这里暂且使用 10.0.2.30,10.0.2.31,10.0.2.32,10.0.2.33 替代 node1,node2,node3,node4,并依次启动 zookeeper。

  • zoo.cfg配置文件
server.1=10.0.2.30:2888:3888
server.2=10.0.2.31:2888:3888
server.3=10.0.2.32:2888:3888
server.4=10.0.2.33:2888:3888

依次使用 netstat 查看网络连接情况

  • node1

可以看出来 node1作为服务节点,由 node2,node3,node4 通过 3888端口建立连接进来。 node1 作为客户端连接 node3 (目前node3是leader) 的2888端口。

  • node2

可以看出来 node2作为服务节点,由 node3,node4 通过 3888端口建立连接进来。 但是 node2 作为客户端连接node1的3888端口。 node2 作为客户端连接 node3 (目前node3是leader) 的2888端口。

  • node3

可以看出来 node3作为服务节点,由 node4 通过 3888端口建立连接进来。 但是 node3 作为客户端连接node1,node2 的3888端口。 node3 作为leader节点,由 node1,node2 ,node4 通过 3888端口建立连接进来。 至于为什么 node3能当选 leader 呢?可以在下面的 选举过程中 得到进一步详细的阐述。

  • node4

可以看出来 node4 作为客户端连接node1,node2 ,node3 的3888端口。 node4 作为客户端连接 node3 (目前node3是leader) 的2888端口。

  • 结论 Zookeeper 在内部网络中如图所示,依据zoo.cfg的配置后续的server都逐个连接前面的server的3888端口,这样就形成了两两连接的拓扑,同时也不冗余。 而当leader当选时,会开放2888端口,其他follower连接其2888端口。

ZAB(原子广播,Zookeeper Atomic Broadcast

https://zookeeper.apache.org/doc/current/zookeeperInternals.html

ZAB(Zookeeper Atomic Broadcast)原子广播是 Paxos分布式一致性协议算法(http://zh.wikipedia.org/zh-cn/Paxos) 的一个简化版本。

首先有以下概念,我们需要了解:

  • 数据包(Packet):通过 FIFO Channel 发送的字节数组。
  • 提案(Proposal):协议的单位。通过与ZooKeeper中的法定server交换数据包来达成协议。大多数提案都包含消息,但是 NEW_LEADER Proposal 提案是不包含消息。
  • 消息(Message):要自动广播到所有ZooKeeper服务器的字节数组。消息被包含在一个提案(Proposal)中,并且只有在提案(Proposal)被通过后消息才会最终交付delivered(提交到事务日志和更新内存的统一视图)。
  • 法定人员 (Quorum):有 Zookeeper集群中非observer 角色的所有服务器节点组成,具有投票通过提案(Proposal)的权力。

在 Zookeeper 中提供以下的保证数据的严格顺序:

  • 传递可靠性:如果一个消息被一个server最终交付delivered,那么这个消息最终也被其他所有的server最终交付delivered,这里指最终一致性。
  • 顺序全局性:如果一个消息a先于b被一个server最终交付delivered,那么消息a也是先于b被其他所有的server最终交付delivered
  • 顺序传递性:如果消息a先于b被发送到server,消息b先于c被发送到server,那么消息a也是先于c被server接收的。

如上所述,ZooKeeper保证消息的总顺序,也保证建议的总顺序。

ZooKeeper使用ZooKeeper transaction id (zxid) ,这是一个全局的唯一的ID。提出提案(Proposal)时,所有提案都将附上zxid,进而保证全局的顺序性。

  • leader 将提案(Proposal)将发送到所有ZooKeeper服务器。
  • 在法定人员(Quorum)收到后,会确认(acknowledge)回复这个提案(Proposal)给leader

其中确认acknowledge提案(Proposal)表示服务器已将提案(Proposal)持久化到日志中。

稍微注意一下:法定人员(Quorum)收到提案(Proposal),只存在确认(acknowledge),或者因为网络等原因超时响应,不存在反对(reject)。

  • 只要一但满足半数以上(大于所有法定人员的一半)确认acknowledge后,leader就会进入正式提交(Commit)。
  • 如果提案(Proposal)中包含一条消息,则在提交时将最终交付delivered该消息。

ZooKeeper消息传递包括两个阶段:

  • leader选举(Leader activation):在此阶段,leader被选举出来,集群开始变为对外可用状态,并准备开始提出提案(Proposal)。
  • 活动消息传递(Active messaging):在此阶段,leader开始接受消息(Message),并发起提案(Proposal),协调和决策以提交(Commit)提案(Proposal)。

leader选举

leader产生的条件:

  • 具有最新的 Zxid,如果 存在多个server都有最新的Zxid,在投票过程中选取建立网络连接中 myid最大的。
  • leader 和其连接的follower的个数必须满足半数以上(大于所有法定人员的一半)。

当集群中任意具有选举权的server发现leader挂了:

  • 该 server 会触发NEW_LEADER Proposal 提案,给自己投票,并通过 ZAB 广播给所有连接的 server。
  • 接受到 NEW_LEADER Proposal 提案的server,如果有被选举权,则会触发它的投票行为:
    • 先比较zxid,最新的胜出,如果zxid相同,再比较myid,最大的胜出。
    • 最后将胜出的内容,通过 ZAB 广播给所有连接的 server。
  • 最终满足leader条件的server,将被选出,同时 follower也被广播获得 Proposal 的提交。

以上中的 网络拓扑 为什么 node3能当选 leader 呢?

  • node1 启动时,给自己投票,因为其他server尚没启动,因为 node1 依然在LOOKING竞选状态。
  • node2 启动完,给自己投票,同时与 node1 交换了Zxid和myid,node2 胜出,但因为没有达到半数以上法定人员,所以node1,node2 依然处于LOOKING竞选状态。
  • node3 启动完,给自己投票,同时与 node1 ,node2 交换了Zxid和myid,node3 胜出,也达到半数以上法定人员(3 > 4/2),因此 node3 被选举为 leader
  • node4 启动完,给自己投票,同时与 node1 ,node2 ,node3交换了Zxid和myid,node3的Zxid最新,因此 node4 追随 node3。

活动消息传递

消息的传递一般指写请求。

  • follower 接收到 客户端的 写请求后,会转发给 leader顺序处理。
  • leader 收到写请求,会检查数据问题,如无问题,创建一个新的提案proposal加入toBeApplied FIFO 队列,内容是写请求的消息,并附上全局的ZXid。
  • leader每次toBeApplied FIFO 队列头部取到一个提案proposal,通过 ZAB 广播给所有的 follower,处于 pending 等待回复。
  • follower 收到提案proposal后,记录提案proposal持久化到磁盘的日志文件中,然后确认(acknowledge)回复这个提案(Proposal)给leader
  • leader处于 pending 等待回复,一旦收到follower 加上自己的确认(acknowledge)超过半数法定人员(Quorum),就会触发 Commit阶段,发送commit请求给所有的follower,发送info请求所有的observer。 同时,leader将提案proposal放入 committedRequest 队列,并从toBeApplied FIFO 队列移出该 提案proposal
  • follower 收到 Commit后,会更新自己的内存数据,统一数据视图。
  • observer收到info后,会更新自己的内存数据,统一数据视图。

针对客户端的读请求,则不需要转发给leader处理。 当然如果是客户端的sync命令,则会触发客户端连接的followerobserverleader请求同步数据状态。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • HDD机械硬盘的性能

    注:事实上还有一个传输时间(同样位于公式的分母),即完成传输所请求的数据所需要的时间,它取决于数据传输率,其值等于数据大小除以数据传输率。由于主流的SAS、SA...

    斯武丶风晴
  • GPU图形处理器

    斯武丶风晴
  • CPU体系结构

    在微指令架构的 CPU 里面,编译器编译出来的机器码和汇编代码并没有发生什么变化。但在指令译码的阶段,指令译码器“翻译”出来的,不再是某一条 CPU 指令。译...

    斯武丶风晴
  • 超全面总结!2017年UI设计领域流行过这21个设计趋势

    1、功能性极简主义 不少移动端APP和网站开始基于极简主义设计风来设计,而极简主义本身并非关注所有的信息,而是通过减少非关键信息来突出特定的内容,它是有着极强...

    前朝楚水
  • c语言内嵌汇编代码之InputOperands使用时的注意事项

    在阅读本文之前,请先阅读gcc的相关文档,确保对如何在c中使用汇编语言有个基本的认识。

    wangyuntao
  • [Java小工匠]CSS盒子模型-概述

      在HTML文档中任何元素,都可以看作是一个盒子,因此理解盒子模型非常重要。一个盒子包含 盒子的内容、盒子内边距、盒子的边框、盒子的外边距。

    Java小工匠
  • 【AI实战】10 行代码带你搞定目标检测

    计算机视觉是人工智能的一个重要领域,是关于计算机和软件系统的科学,可以对图像和场景进行识别、理解。计算机视觉还包括图像识别、目标检测、图像生成、图像超分辨率重建...

    昱良
  • 十行代码搞定目标检测

    计算机视觉是人工智能的一个重要领域,是关于计算机和软件系统的科学,可以对图像和场景进行识别、理解。计算机视觉还包括图像识别、目标检测、图像生成、图像超分辨率重建...

    代码医生工作室
  • 十行代码搞定目标检测

    计算机视觉是人工智能的一个重要领域,是关于计算机和软件系统的科学,可以对图像和场景进行识别、理解。计算机视觉还包括图像识别、目标检测、图像生成、图像超分辨率重建...

    大数据文摘
  • win10 uwp dataGrid Microsoft.Toolkit.Uwp.UI.Controls.DataGrid表格控件

    首先需要通过 Nuget 搜索 Microsoft.Toolkit.Uwp.UI.Controls.DataGrid 安装

    林德熙

扫码关注云+社区

领取腾讯云代金券