ZooKeeper故障节点替换过程详解

一、环境描述

我的生产环境ZooKeeper 版本3.4.6,5个节点组成的ZooKeeper集群。ZooKeeper集群为一套8个节点的Hadoop集群和HBase 集群提供高可用保障。

二、问题描述

因为某些特殊原因,需要替换掉myid为5(IP:10.10.10.30)的ZooKeeper节点,故障节点IP:10.10.10.30替换为10.10.10.37。10.10.10.37节点是现有环境的namenode节点,Hadoop用户、相关目录,授权、hosts文件已经满足ZooKeeper的部署要求。

三、ZooKeeper相关知识点

在ZooKeeper的设计中,集群中的任何一个节点的zoo.cfg文件内容是一样的,因此最好使用SVN把这个文件管理起来,保证每个机器都能使用一份相同的配置。

在配置文件中(zoo.cfg),可以按照这样的格式,每行写一个机器配置:server.id=host:port:port. 关于这个id,我们称之为Server ID,标识host机器在集群中的机器序号,在每个ZK机器上,我们需要在数据目录(数据目录就是dataDir参数指定的那个目录)下创建一个myid文件,myid中就是这个Server ID数字。

ZooKeeper有这样一个特性:集群中只要有过半的机器是正常工作的,那么整个集群对外就是可用的。ZooKeeper 节点数一般为奇数个,比如我的环境部署了5个节点的ZooKeeper服务,如果有两个节点的ZooKeeper异常是不会影响ZooKeeper集群对外提供服务的。

四、部署新节点ZooKeeper

1、配置参数如下(zoo.cfg)

2、关闭10.10.10.37主机

3、备份原有zoo.cfg文件,cp zoo.cfg zoo.cfg0420

4、本案例在现有10.10.10.37节点部署myid为5的ZooKeeper服务,从其它可用节点scp 软件包到10.10.10.37节点,修改配置文件主机IP,使用新主机的IP替换掉原有主机的IP

5、使用新的zoo.cfg文件,替换掉其他4个节点的zoo.cfg文件,使用scp远程传输直接覆盖

6、10.10.10.37节点创建myid 命令:echo “5” > /data/ZooKeeper/myid

五、修改Hadoop配置文件,然后替换所有Hadoop节点配置文件

1、修改hdfs-site.xml

2、修改yarn-site.xml

六、修改HBase配置文件(HBase-site.xml),然后替换所有HBase节点配置

七、重启相关服务

部署ZooKeeper节点比较简单,当初部署集群的时候怎么部署的,现在就重新部署一个节点就可以,注意修改zoo.cfg配置文件。其它依赖于ZooKeeper集群的相关服务比如Hadoop、HBase、Hive、flume等都需要修改配置文件,小技巧,记住修改的是xxx-site.xml文件关键字是site.xml文件。

接下来需要重启服务,启动顺序为ZooKeeper--->Hadoop--->HBase,关闭顺序为HBase--->Hadoop--->ZooKeepe。

具体命令如下:

1、重启zookeepe命令:./zkServer.sh restart

2、关闭HBase集群命令:./stop-HBase.sh

3、关闭Hadoop集群命令:

./stop-yarn.sh && ./stop-dfs.sh

./yarn-daemon.sh stop resourcemanager

4、启动Hadoop集群命令:

./start-yarn.sh && ./start-dfs.sh

./yarn-daemon.sh start resourcemanager

5、启动HBase集群命令:./start-HBase.sh

6、通过命令验证配置是否同步

可以看到所有相关系统的配置都已经同步到了新增的ZooKeeper-server中。

7、使用网页方式验证Hadoop集群和HBase状态,不同环境端口可能不一样

10.10.10.37:8088

10.10.10.37:50070

10.10.10.37:60010

八、遇到问题

1、直接启动新节点ZooKeeper报错信息

在部署好的ZooKeeper服务器直接启动会报上面的错误,更换了IP的主机无法直接加入ZooKeeper集群,需要先重启原有4台ZooKeeper集群才可以。

小结

  • 目前ZooKeeper不支持动态添加节点,添加节点需要重启所有ZooKeeper
  • ZooKeeper 添加、删除主要修改zoo.cfg文件,zoo.cfg文件需要备份保存好
  • Namenode 的主备高可用依赖ZooKeeper,所以需要修改hdfs-site.xml
  • Resouremanager的主备高可用依赖ZooKeeper,需要修改yarn-site.xml
  • HBase的主备高可用依赖ZooKeeper,需要修改HBase-site.xml
  • 如果有Hive、Flume也需要修改相关的配置
  • 因为生产环境刚上线,所以直接重启了集群服务,如果实时性要求比较高,没有维护窗口,可以单独重启相关服务,尽可能减少影响。

原文发布于微信公众号 - CSDN技术头条(CSDN_Tech)

原文发表时间:2017-05-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT笔记

JavaWeb项目架构之NFS文件服务器

当用户A通过互联网上传文件时,经过负载均衡,随机或者定向分配到某个节点。但是当用户B去下载这个文件的时候,并不确定会向哪个节点发送请求,这样会导致用户存在一定几...

5489
来自专栏行者悟空

Redis-3.x集群安装(三主三从)

5103
来自专栏鸿的学习笔记

日志采集技术笔记

使用Linux的rename机制保证文件写入要么成功,要么失败,绝对不能出现写了一半的情况。

3565
来自专栏杨建荣的学习笔记

Oracle主备架构下的逻辑备份考虑

今天想到一个问题,如果有一个环境是一主一备架构,根据业务需要做逻辑备份,该怎么规划和考虑。数据库版本为10g,11g ? 这个问题如果在考虑性能的前提下,我...

3605
来自专栏我是攻城师

分布式日志收集之Logstash 笔记(一)

3506
来自专栏散尽浮华

linux下rsync和tar增量备份梳理

前面总结过一篇全量备份/增量备份/差异备份说明,下面介绍下linux下rsync和tar两种增量备份的操作记录: 1)rsync备份 rsync由于本身的特性,...

46710
来自专栏LEo的网络日志

centos安装openmpi

通过官方网站提供的下载地址:https://download.open-mpi.org/release/open-mpi/v3.1/openmpi-3.1.0....

1696
来自专栏FD的专栏

rails -help

rails new APP_PATH [选项] //APP_PATH项目名称

1053
来自专栏Hadoop实操

CM部署客户端配置失败异常分析

在Cloudera Manager修改了服务的客户端配置后,执行部署客户配置报如下异常:

3773
来自专栏前端安全

浅谈Ajax跨域

如果我们前端页面的url和我们要提交的后端url存在跨域问题时,我们该如何解决呢?

2.4K15

扫码关注云+社区

领取腾讯云代金券