0749-5.14.4-如何实现Kafka Broker节点磁盘数据Balance

文档编写目的

Kafka的数据目录可以配置一个或多个，通常这些目录是分布在不同的磁盘上用于提高K集群的读写性能，同时也可以提升消息的存储空间。

实际的生产环境中随着消息量的增加，Kafka存储的消息量过大，导致磁盘空间爆满，此时在不扩容Broker的情况下，我们通过对已有节点挂载磁盘的方式扩容Kafka的存储。在扩容存储后会发现已有Topic的Partition并不会自动均衡到新的磁盘上，依然没有缓解磁盘爆满的情况。而新建Topic时以磁盘为单位，在Partition数量最少的磁盘上创建Partition目录。上述的情况均会导致Kafka数据在磁盘之间分布不均的问题。

本篇文章Fayson主要介绍如何实现磁盘之间Parttion的迁移，从而实现Kafka Broker节点磁盘数据Balance，阅读本文前可以先查看如下视频：

《如何在一个Kafka Broker的log.dir中移动partition数据》

• 测试环境：

1.Redhat7.2

2.采用root用户操作

3.CM为5.16.2，CDH为5.14.4

4.Kafka版本为2.2.0

5.Kafka未启用Kerberos和Sentry

Kafka磁盘扩容

1.扩容前Kafka的数据目录。

通过CM的Kafka配置搜索log.dirs可以看到当前Kafka的数据目录只有/var/local/kafka/data这一个。

2.扩容后数据目录说明

通过CM，进入Kafka，点击配置，输入log.dirs进行搜索，然后添加一个目录/data0/kafka/data，点击保存确认，然后根据提示重启。这样进行磁盘目录的扩容。

3.扩容后创建一个新的Topic进行说明

使用如下命令创建一个新的Topic

[root@cdh01 data]# kafka-topics --create --zookeeper cdh01.hadoop.com:2181 --replication-factor 3 --partitions 9 --topic test

查看Topic分区分布情况

可以看到，由于/var/local/kafka/data里面有系统创建的分区30个，所以新建的Topic按照规则全部存储在分区目录少的数据目录/data0/kafka/data中。

这里我们就来把test的分区目录 test-0和test-1迁移到/var/local/kafka/data中。

生产消息后，从头开始消费可以看到当前的数据

[root@cdh01 ~]# kafka-console-consumer --bootstrap-server cdh01.hadoop.com:9092 --topic test --from-beginning

Partition迁移

本章节主要讲述Broker节点磁盘之间Partition迁移过程，详细过程如下

1.在迁移操作进行前，需要在CM中停止Kafka服务

2.这里将Topic的一半Parttion迁移至/var/local/kafka/data数据目录下

[root@cdh01 data]# mv test-0/ test-1/ /var/local/kafka/data

3.修改/data0/kafka/data/recovery-point-offset-checkpoint文件内容

修改前

修改后，把第二行的9改为7，因为迁移走了两个分区，现在分区总数为7。然后把下面的test 1和test 2这两行删除

4.修改/var/local/kafka/data/recovery-point-offset-checkpoint文件内容

修改前

修改后

这里加了2个分区，所以把之前的30改为了32，然后最下面添加了test 1和test 2这两行，后面的数字跟/data0/kafka/data/recovery-point-offset-checkpoint修改前的保持一致。

5.修改/data0/kafka/data/replication-offset-checkpoint文件内容

修改前

修改后

同样的把第二行的9改为7，因为迁移走了两个分区，现在分区总数为7。然后把下面的test 1和test 2这两行删除

6.修改/var/local/kafka/data/replication-offset-checkpoint文件内容

修改前

修改后

同样的，这里加了2个分区，所以把之前的30改为了32，然后最下面添加了test 1和test 2这两行。

7.修改完之后，通过CM启动Kafka服务

启动完成

8.进行消费测试

[root@cdh01 data]# kafka-console-consumer --bootstrap-server cdh01.hadoop.com:9092 --topic test --from-beginning

与前面数据一致，这里迁移完成。

总结

1.在操作期间需要停止Kafka的服务才可以进行。

2.上面迁移步骤是做了一个broker上的迁移。如果其他broker也需要迁移，可以同样步骤进行操作，需要注意的是，每个broker上的partition不一定是固定的，需要根据实际情况进行操作。

3.partition的迁移这里实际上做了物理的目录迁移之后，修改了迁移前和迁移后的磁盘目录下的recovery-point-offset-checkpoint和replication-offset-checkpoint这两个文件。相应的把文件中记录的总partition数和具体的每个partition的记录进行修改就可以了。

4.在只扩容Kafka存储空间的情况下，建议优先对Kafka Broker的磁盘做Balance，而后再创建新的Topic，否则新建Topic的Partition会根据分配规则都创建到新挂载的磁盘上，导致数据不均衡及Topic吞吐性能问题等。

Fayson的github： https://github.com/fayson/cdhproject