Zookeeper 快速上手

用户1212940

发布于 2020-03-18 17:22:11

5610

发布于 2020-03-18 17:22:11

文章被收录于专栏：Lambda

快速上手

Zookeeper 是什么

官方是这么解释 Zookeeper的，它是一个分布式服务框架，是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。

简单来说 Zookeeper = 文件系统 + 监听通知机制

功能总结

文件系统

Zookeeper 维护一个类似文件系统的数据结构，可以为客户端管理少量数据 k-v

每个子目录项如 NameService 都被称作为 znode（目录节点），和文件系统一样，我们能够自由的增加、删除 znode，在一个 znode 下增加、删除子 znode，唯一的不同在于 znode 是可以存储数据的。

监听通知机制

客户端注册监听它关心的目录节点，当目录节点发生变化（数据改变、被删除、子目录节点增加删除）时，Zookeeper 会通知客户端

Zookeeper 应用场景

Zookeeper 功能非常强大，可以实现诸如分布式应用配置管理、统一命名服务、状态同步服务、集群管理等功能，我们这里拿比较简单的分布式应用配置管理为例来说明。

假设我们的程序是分布式部署在多台机器上，如果我们改变程序的配置文件，需要逐台机器去修改，非常麻烦，现在把这些配置放在 Zookeeper 上去，保存在 Zookeeper 的某个目录节点中，然后所有相关应用程序对这个目录节点进行监听，一旦配置信息发生变化，每个应用程序就会收到 Zookeeper 的通知，然后从 Zookeeper 获取新的配置信息应用到系统中。

如上，你大致应该了解zookeeper是个什么东西，大概能做些什么了，我们马上来学习下zookeeper的安装及使用，并开发一个小程序来实现zookeeper这个分布式配置管理的功能。

Zookeeper 单击模式安装

Step1：配置JAVA环境，检验环境：java -version
Step2：下载并解压zookeeper

# cd /usr/local
# wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
# tar -zxvf zookeeper-3.4.12.tar.gz
# cd zookeeper-3.4.12

Step3：重命名配置文件zoo_sample.cfg

# cp conf/zoo_sample.cfg conf/zoo.cfg

Step4：启动zookeeper

# bin/zkServer.sh start

Step5：检测是否成功启动，用zookeeper客户端连接下服务端

# bin/zkCli.sh

Zookeeper 使用

使用客户端命令操作 Zookeeper

1、使用 ls 命令来查看当前 ZooKeeper 中所包含的内容

[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]

2、创建一个新的 znode ，使用 create /zkPro myData

[zk: localhost:2181(CONNECTED) 0] create /zkPro myData
Created /zkPro

3、再次使用 ls 命令来查看现在 zookeeper 中所包含的内容：

[zk: localhost:2181(CONNECTED) 1] ls /
[zookeeper, zkPro]

4、下面我们运行 get 命令来确认第二步中所创建的 znode 是否包含我们所创建的字符串：

[zk: localhost:2181(CONNECTED) 2] get /zkPro
myData
cZxid = 0x4
ctime = Thu Feb 27 12:00:32 CST 2020
mZxid = 0x4
mtime = Thu Feb 27 12:00:32 CST 2020
pZxid = 0x4
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 6
numChildren = 0

5、下面我们通过 set 命令来对 zk 所关联的字符串进行设置

[zk: localhost:2181(CONNECTED) 0] set /zkPro myData1
cZxid = 0x4
ctime = Thu Feb 27 12:00:32 CST 2020
mZxid = 0x9
mtime = Thu Feb 27 12:02:46 CST 2020
pZxid = 0x4
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 0
[zk: localhost:2181(CONNECTED) 1] get /zkPro
myData1
cZxid = 0x4
ctime = Thu Feb 27 12:00:32 CST 2020
mZxid = 0x9
mtime = Thu Feb 27 12:02:46 CST 2020
pZxid = 0x4
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 0

6、下面我们将刚才创建的 znode 删除

[zk: localhost:2181(CONNECTED) 0] delete /zkPro
[zk: localhost:2181(CONNECTED) 1] ls /
[zookeeper]

使用 Java API 操作 Zookeeper

再此之前我们需要学习下有关 Zookeepe 的类型 znode：

PERSISTENT - 持久化目录节点 客户端与zookeeper断开连接后，该节点依旧存在
EPHEMERAL - 短暂（临时）目录节点 客户端与zookeeper断开连接后，该节点被删除
SEQUENTIAL - 带序号目录节点 zk会自动拼接上一个序号，而且序号是递增的

组合类型：

PERSISTENT：持久不带序号
EPHEMERAL ：短暂不带序号
PERSISTENT_SEQUENTIAL：持久带序号
EPHEMERAL_SEQUENTIAL：短暂带序号

使用Java API操作zookeeper需要引用下面的包

导入依赖包

        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.4.12</version>
        </dependency>

编写测试用例

package com.pyy.zk;

import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.ZooDefs;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.data.Stat;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.util.List;

/**
 * ---------------------------
 * Zookeeper Java API 简单实例Demo
 * ---------------------------
 * 作者：  pyy
 * 时间：  2020-02-27 12:26
 * 版本：  v1.0
 * ---------------------------
 */
public class ZookeeperClientDemo {
    private ZooKeeper zk = null;

    @Before
    public void init() throws IOException {
        // zookeepe客户端
        zk = new ZooKeeper("10.10.50.140:2181", 2000, null);
    }

    @Test
    public void testCerate() throws Exception {
        // 参数1：要创建节点路径 参数2：数据  参数3：访问权限 参数4：节点类型
        String path = zk.create("/hello/b", "hello-zk-b".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        System.out.println("持久节点创建成功：" + path);
        zk.close();
    }

    @Test
    public void testCerateSon() throws Exception {
        // 参数1：要创建节点路径 参数2：数据  参数3：访问权限 参数4：节点类型
        String path = zk.create("/hello/b", "hello-zk-b".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        System.out.println("持久节点创建成功：" + path);
        zk.close();
    }

    @Test
    public void testUpdate() throws Exception {
        // 参数1：节点路径 参数2：数据 参数3：要修改的版本, -1 代表任何版本
        Stat stat = zk.setData("/hello", "hello-update".getBytes(), -1);
        System.out.println("持久节点修改成功：" + stat);
        zk.close();
    }

    @Test
    public void testGet() throws Exception {
        // 参数1：节点路径 参数2：是否要监听 参数3：要修改的版本, null代表最新版本
        byte[] data = zk.getData("/hello", false, null);
        System.out.println("持久节点查询成功：" + new String(data));
        zk.close();
    }

    @Test
    public void testGetChildren() throws Exception {
        // 参数1：节点路径 参数2：是否要监听
        // 注意：返回的结果中只有子节点的名字，不带全路径
        List<String> children = zk.getChildren("/hello", false);
        for (String child : children) {
            System.out.println("子节点：" + child);
        }
        zk.close();
    }


    @Test
    public void testDelete() throws Exception {
        // 参数1：节点路径 参数2：版本 -1 所有版本
        zk.delete("hello", -1);
        System.out.println("持久节点删除成功：");
        zk.close();
    }
}

分布式配置中心案例

在zookeeper里增加一个目录节点，并且把配置信息存储在里面

[zk: localhost:2181(CONNECTED) 4] create /username root
Created /username

启动两个zookeeper客户端程序，代码如下所示

package com.pyy.zk;

import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.data.Stat;

import java.util.concurrent.CountDownLatch;

/**
 * ---------------------------
 * zookeeper 分布式配置中心 demo
 * ---------------------------
 * 作者：  pyy
 * 时间：  2020-02-27 12:06
 * 版本：  v1.0
 * ---------------------------
 */
public class ZookeeperProSync implements Watcher {

    private static CountDownLatch connectedSemaphore = new CountDownLatch(1);
    private static ZooKeeper zk = null;
    private static Stat stat = new Stat();

    public static void main(String[] args) throws Exception {
        // zookeeper配置数据存放路径
        String path = "/username";
        // 连接zookeeper并且注册一个默认的监听器
        zk = new ZooKeeper("10.10.50.140:2181", 5000, //
                new ZookeeperProSync());
        // 等待zk连接成功的通知
        connectedSemaphore.await();
        // 获取path目录节点的配置数据，并注册默认的监听器
        System.out.println(new String(zk.getData(path, true, stat)));

        Thread.sleep(Integer.MAX_VALUE);
    }

    public void process(WatchedEvent event) {
        if (Event.KeeperState.SyncConnected == event.getState()) {  //zk连接成功通知事件
            if (Event.EventType.None == event.getType() && null == event.getPath()) {
                connectedSemaphore.countDown();
            } else if (event.getType() == Event.EventType.NodeDataChanged) {  //zk目录节点数据变化通知事件
                try {
                    System.out.println("配置已修改，新值为：" + new String(zk.getData(event.getPath(), true, stat)));
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }
    }
}

我们在zookeeper里修改下目录节点/username下的数据

[zk: localhost:2181(CONNECTED) 0] set /username pyy
cZxid = 0x1f
ctime = Thu Feb 27 15:14:46 CST 2020
mZxid = 0x23
mtime = Thu Feb 27 15:20:09 CST 2020
pZxid = 0x1f
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0

修改完成后，我们看见两个程序后台都及时收到了他们监听的目录节点数据变更后的值，如下所示