Apache Kafka:对消费者组进行程序化监控
Apache Kafka:对消费者组进行程序化监控
提问于 2018-08-13 15:48:23
我想从Python应用程序中监控我的Kafka集群中的消费者组(基于Kafka的组，而不是ZK) (我愿意使用Kafka-python库和confluent Kafka客户端中的任何一个)。其目的是根据每个消费者组的滞后推出更多(或删除一些)消费者。
confluent Kafka admin API似乎没有Python选项来实现这一点。Burrow似乎是一种选择。但这将是一个额外的服务来设置和监控。
任何替代方法也是受欢迎的。我正在寻找这样做的最佳实践。
谢谢!
回答 1
Stack Overflow用户
发布于 2018-08-14 00:02:49
如果你的Kafka客户端和经纪人足够现代，你可以通过监控__consumer-offsets主题，定义一定程度的滞后阈值来实现这一点，这会导致你扩展你的消费者群体。这将超出AdminClient的处理范围，因为它与您在应用程序层上启动的使用者数量有关，实际上与代理操作没有任何关系。
我也会确保你的Kafka topics have enough partitions能够弹性地扩展你的消费者群体。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/51817529
复制相关文章
相似问题
腾讯云开发者
