一起走进动物园管理员——ZooKeeper

作者:汤小洋

来源:http://blog.51cto.com/12402007/2331203

一、ZooKeeper简介

1. ZooKeeper是什么

Apache ZooKeeper是一个开源的分布式服务框架,为分布式应用提供协调服务,用来解决分布式应用中的数据管理问题,如:配置管理、域名服务、分布式同步、集群管理等

官网 https://zookeeper.apache.org/

ZooKeeper视频教程 http://edu.51cto.com/course/16190.html

2. ZooKeeper组成

主要包括两部分:文件系统、通知机制

2.1 文件系统

ZooKeeper维护一个类似Linux文件系统的数据结构,用于存储数据

数据模型结构是一种树形结构,由许多节点构成

每个节点叫做ZNode(ZooKeeper Node)

每个节点对应一个唯一路径,通过该路径来标识节点,如 /app1/p_2

每个节点只能存储大约1M的数据

节点类型有四种:

持久化目录节点 persistent

客户端与服务器断开连接,该节点仍然存在

持久化顺序编号目录节点 persistent_sequential

客户端与服务器断开连接,该节点仍然存在,此时节点会被顺序编号,如:000001、000002.....

临时目录节点 ephemeral

客户端与服务器断开连接,该节点会被删除

临时顺序编号目录节点 ephemeral_sequential

客户端与服务器断开连接,该节点会被删除,此时节点会被顺序编号,如:000001、000002.....

2.2 通知机制

ZooKeeper是一个基于观察者模式设计的分布式服务管理框架

ZooKeeper负责管理和维护项目的公共数据,并授受观察者的注册(订阅)

一旦这些数据发生变化,ZooKeeper就会通知已注册的观察者

此时观察者就可以做出相应的反应

简单来说,客户端注册监听它关心的目录节点,当目录节点发生变化时,ZooKeeper会通知客户端

ZooKeeper是一个订阅中心(注册中心)

3. 应用场景

3.1 配置管理

场景:集群环境、服务器的许多配置都是相同的,如:数据库连接信息,当需要修改这些配置时必须同时修改每台服务器,很麻烦

解决:把这些配置全部放到ZooKeeper上,保存在ZooKeeper的某个目录节点中,然后所有的应用程序(客户端)对这个目录节点进行监视Watch,一旦配置信息发生变化,ZooKeeper会通知每个客户端,然后从ZooKeeper获取新的配置信息,并应用到系统中。

3.2 集群管理

场景:集群环境下,如何知道有多少台机器在工作?是否有机器退出或加入?需要选举一个总管master,让总管来管理集群

解决:在父目录GroupMembers下为所有机器创建临时目录节点,然后监听父目录节点的子节点变化,一旦有机器挂掉,该机器与ZooKeeper的连接断开,其所创建的临时目录节点被删除,所有其他机器都会收到通知。当有新机器加入时也是同样的道理。

选举master:为所有机器创建临时顺序编号目录节点,给每台机器编号,然后每次选取编号最小的机器作为master

3.3 负载均衡

ZooKeeper本身是不提供负载均衡策略的,需要自己实现,所以准确的说,是在负载均衡中使用ZooKeeper来做集群的协调(也称为软负载均衡)

实现思路:

将ZooKeeper作为服务的注册中心,所有服务器在启动时向注册中心登陆自己能够提供的服务

服务的调用者到注册中心获取能够提供所需要服务的服务器列表,然后自己根据负载均衡算法,从中选取一台服务器进行连接

当服务器列表发生变化时,如:某台服务器宕机下线,或新机器加入,ZooKeeper会自动通知调用者重新获取服务列表

实际上利用了ZooKeeper的特性,将ZooKeeper用为服务的注册和变更通知中心

二、ZooKeeper安装

1. 安装

ZooKeeper一般都运行在Linux平台

步骤:

解压zookeeper-3.4.13.tar.gz

配置

启动zookeeper

客户端连接zookeeper

2. 配置文件

配置项

含义

说明

三、客户端操作

1. 常用命令

命令

2. 详解

查看指定节点的详细信息: ls2 /

顺序编号节点:

顺序编号会紧跟在节点名称后面,节点最终名称为:节点名+序号,如/test0000000005

顺序编号是一个递增的计数器

顺序编号是由父节点维护,从已有的子节点个数开始(包括临时节点和被删除的节点)

如果子节点为空,则从0000000000开始,依次递增1

在分布式系统中,顺序编号可以被用于为所有的事件进行全局排序,这样客户端就可以根据序号推断事件的顺序

四、ZooKeeper集群

1. 配置集群

步骤:

准备多台ZooKeeper服务器

配置ZooKeeper服务器

在每台服务器的conf/zoo.cfg文件中添加如下内容:

格式:

A表示这台服务器的编号ID,是一个数字

B表示服务器的IP地址或域名

C表示这台服务器与集群中的Leader交换信息时使用的端口

D表示执行选举Leader服务器时互相通信的端口

创建myid配置文件

在集群环境下,需要在目录中创建一个名为的文件,文件内容是当前服务器的编号ID,即上面配置的A

ZooKeeper启动时会读取这个文件,将里面的数字与zoo.cfg中配置的server.A进行比较,从而判断这台服务器是哪个

测试集群环境

启动所有ZooKeeper服务器,查看状态

此时在某台服务器上执行更新操作时,其他服务器也会同步

2. 集群特性

一个ZooKeeper集群中,有一个领导者Leader和多个跟随者Follower

Leader负责进行投票的发起和决议,更新系统状态

Follower用于接收客户端的请求并向客户端返回结果,在选举Leader过程中参与投票

半数机制:集群中只要有半数以上节点存活,集群就能够正常工作,所以一般集群中的服务器个数都为奇数

全局数据一致:集群中每台服务器保存一份相同的数据副本,不论客户端连接到哪个服务器,数据都是一致的

更新请求顺序执行:来自同一个客户端的更新请求,按其发送顺序依次执行

数据更新的原子性:一次数据更新,要么成功,要么失败

实时性:在一定的时间范围内,客户端能读取到最新数据

3. 选举机制

ZooKeeper在提供服务时会自动选举一个节点服务器作为Leader,其他都是Follower

选举流程:

Server1启动,给自己投票,然后发送投票信息,由于其它服务器都还没启动,所以它发现的消息收不到任何反馈,此时Server1为Looking状态

Server2启动,给自己投票,同时与Server1通信交换选举结果,由于Server2的id值较大,所以Server2胜出,但由于投票数没有过半,此时Server1和Server2都为Looking状态

Server3启动,给自己投票,同时与Server1和Server2通信交换选举结果,由于Server3的id值较大,所以Server3胜出,此时票数已经过半,所以Server3为Leader,Server1和Server2为Follower

Server4启动,给自己投票,同时与Server1、Server2、Server3通信交换选举结果,尽管Server4的id较大,但由于集群中已经存在Leader,所以Server4只能为Follower

Server5启动,同Server4类似,只能为Follower

总结:

每个服务器在启动时都会选择自己,然后将投票信息发送出去

服务器编号ID越大,在选择算法中的权重越大

投票数必须过半,才能选出Leader

谁是Leader:启动顺序的前个服务器中,id值最大的会成为Leader

4. 监听机制

4.1 监听节点值的变化

监听Watch事件是一个一次性的触发器,当数据改变时只会触发一次,如果以后这个数据再发生改变,则不会再次触发

4.2 监听节点的子节点变化

五、Java访问ZooKeeper

Java操作Zookeeper很简单,只需要添加ZooKeeper客户端的依赖即可,可以进行节点信息的获取、管理等。

步骤:

1添加jar包

2.操作

ZooKeeper快速入门视频,链接:http://edu.51cto.com/course/16190.html

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181220A0M79F00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券