Kafka Mirror Maker未复制Counsumergroup偏移量
Kafka Mirror Maker未复制Counsumergroup偏移量
提问于 2019-11-27 17:49:51
我们已经设置了MirrorMaker来跨两个Kafka集群复制消息。我们还在mirror maker的消费者属性中设置了exclude.internal.topic=false，以复制内部主题。我假设这也将复制__consumer_offset topic，这将反过来同步辅助集群中的消费者组偏移量。
但当我们在辅助集群中启动消费者组时，它从一开始就开始消费消息，所以看起来消费者组偏移量没有在辅助集群中复制。
有没有人可以提供一些建议，比如我们如何使用MirrorMaker或其他解决方案来同步辅助集群中的消费者组偏移量？
回答 2
Stack Overflow用户
发布于 2019-11-27 18:12:09
乍一看，复制__consumer_offsets主题似乎是个好主意，但实际上并不会像您期望的那样工作。
当跨不同的集群复制主题时，在大多数情况下，记录的偏移量在源集群和目标集群之间会有所不同。两个集群之间存在偏移量差异的原因包括：
由于至少一次semantics
- different消息顺序而导致
- 复制来自Mirror Maker的消息
- first offset由于保留限制而在源群集上不为零
这使得__consumer_offsets的内容在目标集群中变得无用。
Mirror Maker 2将成为Kafka 2.4的一部分(预计将于2019年11月/12月发布)，它提供了一种“转换”偏移量的方法，以便消费者可以在集群之间轻松迁移。
Stack Overflow用户
发布于 2021-11-24 15:54:16
我使用mirror maker版本2.7.1或更高版本实现了偏移自动复制。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/59067342
复制相关文章
相似问题
腾讯云开发者
