解惑 | kafka集群三节点下,挂掉一个节点,为什么消费者消费不到数据了

每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。

放弃不难，但坚持很酷~

kafka版本：2.11-1.1.0

一、前言

之前，Kafka 集群就一个 broker ，id 为 200 ，然后根据需求，我又扩展了 2 个节点，修改 broker.id 、listeners 、创建数据目录，然后就启动 Kafka 节点了，到此，我以为 Kafka 集群三节点部署完毕，kafka broker id 分别为 200、201、202。于是，我创建了新的 topic:test ，3 分区 3 副本，生产、消费数据都很正常。

但是，当 broker 200 挂掉了以后，突然发现消费者消费不了数据了，但还可以往新 topic 中生产数据。这就很奇怪了啊，本篇小文就解除你心中的疑惑。接着往下看：

二、为什么会出现上述情况呢？

1、为什么消费者不能够消费 topic 数据?

之前，Kafka 集群单节点的时候，offsets.topic.replication.factor 参数设置的是 1 ，所以，kafka 自动创建的 __consumer_offsets topic 副本数也就是 1 ，它的默认 50 个分区就都在 broker 200 节点上。

当 broker 200 节点停掉之后，消费者组找不到 __consumer_offsets 中自己的 offset 信息了，所以就消费不到了。

2、为什么生产者能够发送数据到topic:test

由于 topic:test 的副本数为 3 ,即使在 broker 200 上的分区副本挂掉了，在 broker 201、202 上还有副本，所以往 topic:test 发送数据是能够成功的。

三、解决办法

为了防止上述情况的发生，需要先保证 topic __consumer_offsets leader 副本所在的节点 kafka 运行状态是正常的，然后通过 kafka 自带的脚本工具，增加 __consumer_offsets 的副本数。

可以根据之前发表的 《教你如何重新分布kafka分区、增加分区副本数》文章来增加 __consumer_offsets 的副本数。根据《kafka 如何对 topic 分区 replica leader 进行负载均衡》文章来保证 __consumer_offsets Leader 副本的负载均衡，就大功告成啦。你可以再停掉一个节点试一下。