向外面的卡夫卡普罗斯们提出一个简短的问题。我有多个数据中心DC_REMOTE_1、DC_REMOTE_2和DC_LOCAL,其中远程数据中心实际上是向一个主题发送消息。
在本地数据中心( (events@dc_remote_1) DC_LOCAL)中,我们正在运行镜像生成器,它当前将远程主题(events@dc_local).传输到本地主题(events@dc_local).。以这种方式配置镜像生成器是可能的,(events@dc_remote_2)也可以复制到events@local中。
它是将不同的远程主题合并到一个本地主题中,还是由于偏移管理而遇到问题?
谢谢你的帮助。
发布于 2016-02-24 04:28:12
我也做过类似的要求,您可以在每个DC中运行一个独立的MirrorMaker (DC_REMOTE_1和DC_REMOTE_2),它将充当本地kafka集群的使用者,并将数据发送到DC_LOCAL(这样就不会出现偏移管理问题)。事实上,卡夫卡集群DC_LOCAL的容量应该是DC_REMOTE_1/2 kafka集群的大约2倍。
如果这对你的要求有帮助,请告诉我。
https://stackoverflow.com/questions/35557584
复制相似问题