决定消费者群体再平衡时间的因素是什么？
决定消费者群体再平衡时间的因素是什么？
提问于 2017-03-10 06:12:27
我们最近在生产中看到了一些问题，当消费者离开组时，消费者组需要几分钟的时间来重新平衡。
这个特定的消费者群体在任何给定的时间都有大约8-10个消费者成员，并且订阅了大约15个主题，每个主题有32个分区。
本质上是试图弄清楚我们应该做些什么，以便使再平衡花费更少的时间。(例如，我们是否尝试减少每个组的消费者数量？每个主题的分区更少？等)
回答 2
Stack Overflow用户
回答已采纳
发布于 2017-03-25 07:27:09
好吧，经过大量的试验和错误发现，重新平衡时间的最大因素是给定消费者组试图订阅的总主题和分区的数量。
我们有一个消费者组，基本上覆盖了大约20个主题的大约600个~分区。通过改变我们的投票策略，等等，我们能够移动到每个主题的消费者组，时间已经急剧下降。
Stack Overflow用户
发布于 2017-03-10 09:31:56
从Kafka0.10.1开始，有两个配置会影响重新平衡：session.timeout.ms和max.poll.interval.ms。
将session.timeout.ms设置为相对较低的值可以使协调器更快地检测到故障，并及时触发重新平衡。
将max.poll.interval.ms设置为相对较低的值意味着重新平衡通常会快速完成，但提交失败的风险会增加，这是一种权衡。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/42706463
复制相关文章
相似问题
腾讯云开发者
