前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Kafka Mirror Maker 使用和图解

Kafka Mirror Maker 使用和图解

作者头像
扫帚的影子
发布2018-09-05 17:17:11
3.1K0
发布2018-09-05 17:17:11
举报
文章被收录于专栏:分布式系统进阶
  • 说是图解,其实不是用正规的UML, 不是流程图, 不是时序图, 不是...
  • Mirror Maker 逻辑简单, 代码不多, 就一个 sacala文件: core/src/scala/kafka/tools/MirrorMaker.scala文件,里面使用了producer和consumer的java客户端SDK
  • Mirror Maker 这东西在使用中发现对同步的机房间网络质量要求还是比较高的, 特别是异地机房间
  • 使用Mirror Maker作同步需要加上对consumer lag的监控, 如果lag一直增加, 源broker offset也一直在增加,那可能是网络有问题或者是mm进程hang住了, 不要犹豫,重启mm吧~
  • 部署的时候尽可能部署在和目的集群相同的机房
  • 不多说,上图!

kafka-mirror-maker.jpeg

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2016.11.03 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档