专栏首页Hadoop实操如何迁移Kudu1.2的WAL和Data目录

如何迁移Kudu1.2的WAL和Data目录

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.文档编写目的


在Kudu配置的WAL和Data路径与其他服务(如NameNode、DataNode等)共用一块磁盘的情况下(可能会产生磁盘空间不足或者IO争用),需要将WAL和Data的目录迁移至新的磁盘上。本文主要讲述如何通过Cloudera Manager来完成Kudu Master和Tablet的WAL和Data目录迁移。

  • 内容概述

1.环境说明

2.Tablet Server角色操作

3.Kudu Master 角色操作

4.迁移验证

  • 测试环境

1.CM和CDH版本为5.10.2

  • 前置条件

1.CM和CDH集群正常

2.Kudu1.2服务器正常

3.新的数据盘已格式化并挂载

2.环境说明


这里由于Fayson的磁盘有限,所以将Kudu Master和Tablet配置的WAL和Data的路径分别修改为:

  • Kudu服务的配置情况

角色分布

磁盘配置

迁移前my_first_table数据

3.Tablet Server角色操作


1.停止4台TS中的一个角色实例

2.删除刚才停止的TS实例

3.进入到Kudu Master 的控制台,并查看Tablet Server的状态,等待至少5分钟(Time Since Heartbeat),直到这个被删除的TS进入Dead Table Servers列表中

4.在master节点上执行如下命令,直到所有under replicas 的tablets都被复制到其他TS

kudu cluster ksck ip-172-31-21-45.ap-southeast-1.compute.internal

标注部分为Kudu Master服务的hostname,直到显示如下日志则表示数据迁移成功

注意:这里Kudu数据默认为3副本,如果Tablet节点少于3个,执行上面的命令时会一直显示如下异常:所以Fayson这里使用4个Tablet节点,如果少于Tablet节点少于3个时迁移可能导致数据丢失。

5.然后,登录到这台被下线的TS服务器,找到之前kudu的wal和data目录,将之删除

删除WAL和Data目录

6.然后回到Kudu服务-实例-添加角色实例,把刚才删除的服务器添加为新的TS

7.使用默认的磁盘配置配置该新的TS,直至角色实例添加完成。完成后千万别启动该新的TS

8.进入角色组,在TS组中添加新的组

9.并把新加的TS移动到这个组

10.然后打开这个新的TS实例,点配置,修改WAL的路径为新的路径

11.然后启动该TS

12.TS启动完成

13.Master中查看TS状态正常加入了Cluster

14.查看服务上新加入tablet节点的WAL和Data目录

注意:以上为单节点操作,使用相同的方法,修改其他TS,直至所有TS修改完成。

4.Master角色操作


1.停止Master角色

2.在所有master节点上,查看WAL的路径及owner,权限等

3.执行如下命令,拷贝wal路径到新的磁盘

[ec2-user@ip-172-31-21-45 kudu_master]$ sudo mv fsdatadir/ fsdatadir1
[ec2-user@ip-172-31-21-45 kudu_master]$ sudo mv fswaldir/ fswaldir1

(注意:如果拷贝过去之后,owner及组改变,请执行chown -R kudu:kudu * 进行修改)

4.在CM中修改Master的WAL路径配置,保存

5.重启Master服务

至此为止Master节点的WAL和Data目录已迁移完成。

5.迁移验证


登录Hue使用Impala查询Kudu表,验证数据是否有缺失:

在逐个删除Kudu Tablet服务并删除WAL和Data目录后,重新加入集群并未造成Kudu表数据丢失。

如果通过Cloudera Manager直接修改Master和Tablet的WAL和Data目录会导致表数据丢失,使用命令检查数据完整性报如下错误:

[ec2-user@ip-172-31-21-45 kudu_master]$ kudu cluster ksck ip-172-31-21-45.ap-southeast-1.compute.internal 

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f),作者:Fayson

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-12-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CDH高可用集群误删NameNode故障恢复

    在已启用HA的CDH集群中,误删Standby Namenode服务,导致集群异常,无法再次通过CM启用HA。异常如下

    Fayson
  • 如何安装Tableau并连接CDH的Hive/Impala

    Tableau是桌面系统中的商业智能工具软件,可以基于不同的数据源生成漂亮的图表。Cloudera与Tableau是互相认证的合作伙伴,在Tableau的数据源...

    Fayson
  • 如何在CDH中安装和使用StreamSets

    StreamSets由Informatica前首席产品官Girish Pancha和Cloudera前开发团队负责人Arvind Prabhakar于2014年...

    Fayson
  • pitu: 开源命令行P图工具

    对单张图片处理分为: 缩放(zoom),旋转(rotate),镜像(flip),裁剪(cut),灰度(gray),添加文本(text) 。

    我是一条小青蛇
  • CDH高可用集群误删NameNode故障恢复

    在已启用HA的CDH集群中,误删Standby Namenode服务,导致集群异常,无法再次通过CM启用HA。异常如下

    Fayson
  • 小程序 SaUi

    以下是SaUi的小程序,及里面的部分界面图片,此小程序会不定时更新。如果里面没有大家想要的效果,或者写得不好,也欢迎大家给小弟我提提!!!

    ss1121
  • iOS客户端配置Exchange邮箱

    程序员不务正业
  • 拍毕业照啦~

    Krry
  • 7天从0到一个完整的小程序

    如果你熟悉公众号开发的套路,那么入手小程序就很快了。如果你熟悉app开发,那入手也是很顺畅的,我认为关键在于移动开发思想。

    热心的程序员
  • 如何安装Tableau并连接CDH的Hive/Impala

    Tableau是桌面系统中的商业智能工具软件,可以基于不同的数据源生成漂亮的图表。Cloudera与Tableau是互相认证的合作伙伴,在Tableau的数据源...

    Fayson

扫码关注云+社区

领取腾讯云代金券