如何通过CM迁移Zookeeper服务

1.文档编写目的


在使用CDH集群过程中由于角色划分不合理或Zookeeper服务所在节点压力大等问题,需要对Zookeeper服务做迁移等操作。本篇文章Fayson主要介绍如何通过CM来迁移Zookeeper服务。

  • 测试环境

1.CM5.15.0和CDH版本为5.14.2

2.迁移准备


首先确认Zookeeper服务迁移的目标服务器,Fayson的测试环境说明,Zookeeper服务在cdh01、cdh02、cdh03三个节点上,这里将cdh01节点的Zookeeper服务迁移到cdh04节点上。

迁移前Zookeeper服务部署情况如下:

在迁移前需要确保目标服务器已加入被Cloudera Manager管理,cdh04节点已在Fayson的集群中,这里就不在描述如何将节点加入集群了,可以参考Fayson前面的文章《如何为Kerberos环境的CDH集群在线扩容数据节点》、《如何在非Kerberos环境下对CDH进行扩容》、《如何Redhat7的CDH集群中扩容增加Redhat6的节点》。

3.Zookeeper服务迁移


1.使用管理员登录Cloudera Manager,进入Zookeeper服务的实例列表

2.选择cdh01.fayson.com节点的Zookeeper服务并停止

将cdh01.fayson.com节点的Zookeeper服务删除

3.点击“添加角色实例”,选择cdh04.fayson.com节点

4.点击“继续”,使用与其他Zookeeper服务配置相同的数据目录

5.点击“完成”,将Zookeeper服务添加到cdh04.fayson.com节点

6.点击新加入的Zookeeper服务,进入该服务的状态页面,点击“启动服务”

启动成功后,回到Zookeeper实例列表界面,将cdh02和cdh03两个节点的ZK服务重启。

注意:重启cdh02和cdh03节点的ZK服务时一个个重启,确保ZK服务正常后,再操作下一个。

7.所有ZK服务重启完成后如下图所示

ZK服务的Leader正常

8.ZK服务迁移成功后,需要重新部署集群的客户端配置并重启相关服务

4.总结


1.在做Zookeeper服务迁移的过程中,为了防止数据丢失,需要对Zookeeper的数据目录进行备份,在Fayson的操作文档中没有做该步操作,大家在迁移时需要注意。

2.ZK服务的迁移,其实就是将待迁移节点的ZK服务停止并删除,在新节点上添加一个ZK服务即可。在启动或重启服务时未防止数据丢失,一个节点一个节点的进行重启,且确保服务启动成功并正常选举后再进行下一个节点的重启。

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-09-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏闵开慧

ubuntu中配置hadoop

单机模式部署 一、Jdk安装 命令:sudo apt-get install openjdk-6-jdk 目录:/usr/l...

3259
来自专栏杨建荣的学习笔记

Oracle主备架构下的逻辑备份考虑

今天想到一个问题,如果有一个环境是一主一备架构,根据业务需要做逻辑备份,该怎么规划和考虑。数据库版本为10g,11g ? 这个问题如果在考虑性能的前提下,我...

3585
来自专栏python全栈布道师

处理只想本地修改配置文件不想提交到远程的shell脚本(修改版)

2965
来自专栏别先生

Hadoop数据分析平台项目实战(基于CDH版本集群部署与安装)

1、Hadoop的主要应用场景:   a、数据分析平台。   b、推荐系统。   c、业务系统的底层存储系统。   d、业务监控系统。 2、开发环境:Linux...

5294
来自专栏我是攻城师

分布式日志收集之Logstash 笔记(一)

3336
来自专栏CSDN技术头条

ZooKeeper故障节点替换过程详解

一、环境描述 我的生产环境ZooKeeper 版本3.4.6,5个节点组成的ZooKeeper集群。ZooKeeper集群为一套8个节点的Hadoop集群和HB...

4775
来自专栏Linyb极客之路

redis主从复制简介

一. Redis主从复制简介 Redis支持将数据同步到多台从库上,这种特性对提高读取性能非常有益。 1) master可以有多个 slave。 2) 除了多...

41810
来自专栏LanceToBigData

MySQL集群(三)mysql-proxy搭建负载均衡与读写分离

前言 前面学习了主从复制和主主复制,接下来给大家分享一下怎么去使用mysql-proxy这个插件去配置MySQL集群中的负载均衡以及读写分离。 注意:这里比较坑...

4269
来自专栏张首富-小白的成长历程

ansible管理mysql(安装初始化)

今天使用ansible安装管理mariadb数据库的时候,碰到问题,在网上找不到对应的解决办法。然后自己查资料,终于写出,

8367
来自专栏牛肉圆粉不加葱

Spark - 图解 Broadcast 工作原理

Broadcast 是 Spark 常用的特性,本文不打算介绍什么是 Broadcast 及如何使用它,只希望能以下面这张图对 Broadcast 的基础知识和...

1723

扫码关注云+社区

领取腾讯云代金券