文章/答案/技术大牛

发布

社区首页 >问答首页 >kafka分区重新平衡(分配)花费的时间太长

问kafka分区重新平衡(分配)花费的时间太长
EN

Stack Overflow用户

提问于 2016-04-06 01:35:36

回答 1查看 2.2K关注 0票数 3

我们使用的是带有3台服务器的kafka集群，它们都有zookeeper。我们有7个主题，每个主题有6个分区。对于每个主题，我们有3个java使用者。当我启动consumer时，将分区分配给使用者几乎需要3-5分钟。当我们停止其中一个消费者并再次启动时，也会遇到相同的行为。我如何控制或减少它？

请注意，我使用的是kafka 0.9，适用于新消费者

我已经在每个kafka的server.properties中添加了以下属性

auto.leader.rebalance.enable=true
leader.imbalance.check.interval.seconds=10

如果你需要更多信息，请告诉我。谢谢

发布于 2016-04-06 04:44:56

检查你的消费者正在为'session.timeout.ms‘使用的值。

默认值为30秒，协调在此时间过去之前不会触发重新平衡，例如，30秒内没有心跳。

降低这个值的危险是，如果您处理消息的时间太长，可能会发生重新平衡，因为协调器会认为您的消费者已经死了。

票数 5

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/36433283

复制

相似问题

问kafka分区重新平衡(分配)花费的时间太长EN