如何迁移Kudu1.2的WAL和Data目录

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

Fayson的github:https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的

在Kudu配置的WAL和Data路径与其他服务(如NameNode、DataNode等)共用一块磁盘的情况下(可能会产生磁盘空间不足或者IO争用),需要将WAL和Data的目录迁移至新的磁盘上。本文主要讲述如何通过Cloudera Manager来完成Kudu Master和Tablet的WAL和Data目录迁移。

内容概述

1.环境说明

2.Tablet Server角色操作

3.Kudu Master 角色操作

4.迁移验证

测试环境

1.CM和CDH版本为5.10.2

前置条件

1.CM和CDH集群正常

2.Kudu1.2服务器正常

3.新的数据盘已格式化并挂载

2.环境说明

这里由于Fayson的磁盘有限,所以将Kudu Master和Tablet配置的WAL和Data的路径分别修改为:

Kudu服务的配置情况

角色分布

磁盘配置

迁移前my_first_table数据

3.Tablet Server角色操作

1.停止4台TS中的一个角色实例

2.删除刚才停止的TS实例

3.进入到Kudu Master的控制台,并查看Tablet Server的状态,等待至少5分钟(Time Since Heartbeat),直到这个被删除的TS进入Dead Table Servers列表中

4.在master节点上执行如下命令,直到所有under replicas的tablets都被复制到其他TS

kuducluster ksckip-172-31-21-45.ap-southeast-1.compute.internal

标注部分为Kudu Master服务的hostname,直到显示如下日志则表示数据迁移成功

注意:这里Kudu数据默认为3副本,如果Tablet节点少于3个,执行上面的命令时会一直显示如下异常:所以Fayson这里使用4个Tablet节点,如果少于Tablet节点少于3个时迁移可能导致数据丢失。

5.然后,登录到这台被下线的TS服务器,找到之前kudu的wal和data目录,将之删除

删除WAL和Data目录

6.然后回到Kudu服务-实例-添加角色实例,把刚才删除的服务器添加为新的TS

7.使用默认的磁盘配置配置该新的TS,直至角色实例添加完成。完成后千万别启动该新的TS

8.进入角色组,在TS组中添加新的组

9.并把新加的TS移动到这个组

10.然后打开这个新的TS实例,点配置,修改WAL的路径为新的路径

11.然后启动该TS

12.TS启动完成

13.Master中查看TS状态正常加入了Cluster

14.查看服务上新加入tablet节点的WAL和Data目录

注意:以上为单节点操作,使用相同的方法,修改其他TS,直至所有TS修改完成。

4.Master角色操作

1.停止Master角色

2.在所有master节点上,查看WAL的路径及owner,权限等

3.执行如下命令,拷贝wal路径到新的磁盘

[ec2-user@ip-172-31-21-45 kudu_master]$ sudo mv fsdatadir/ fsdatadir1

[ec2-user@ip-172-31-21-45 kudu_master]$ sudo mv fswaldir/ fswaldir1

(注意:如果拷贝过去之后,owner及组改变,请执行chown -R kudu:kudu *进行修改)

4.在CM中修改Master的WAL路径配置,保存

5.重启Master服务

至此为止Master节点的WAL和Data目录已迁移完成。

5.迁移验证

登录Hue使用Impala查询Kudu表,验证数据是否有缺失:

在逐个删除Kudu Tablet服务并删除WAL和Data目录后,重新加入集群并未造成Kudu表数据丢失。

如果通过Cloudera Manager直接修改Master和Tablet的WAL和Data目录会导致表数据丢失,使用命令检查数据完整性报如下错误:

[ec2-user@ip-172-31-21-45kudu_master]$kudu cluster ksck ip-172-31-21-45.ap-southeast-1.compute.internal

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

您可能还想看

安装

安全

数据科学

其他

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20171226G0GFNI00?refer=cp_1026

同媒体快讯

相关快讯

扫码关注云+社区