回顾MM1 在上篇文章中我们介绍了MirrorMaker-V1(MM1)，本质上MM1是Kafka的消费者和生产者结合体，可以有效地将数据从源群集移动到目标群集，但没有提供太多其他功能。...Uber的uReplicator Confluent的Confluent Replicator（收费哦） kafka带来的MM2 而kafka开源社区也终于在kafka2.4带来了自己的企业级解决方案MirrorMaker-V2...官方提供了4中部署方式： 专用MirrorMaker集群运行 单机MirrorMaker运行 在connect cluster上运行 以MM1方式运行 本来cosmozhu准备使用第三中方式运行MM2集群...+2.0 https://blog.cloudera.com/kafka-replication-the-case-for-mirrormaker-2-0/ https://blog.cloudera.com.../a-look-inside-kafka-mirrormaker-2/ ----- 作者：cosmozhu --90后的老父亲，专注于保护地球的程序员 个人网站：http://www.cosmozhu.fun
0 回顾MM1 在上篇文章中我们介绍了MirrorMaker-V1(MM1)，本质上MM1是Kafka的消费者和生产者结合体，可以有效地将数据从源群集移动到目标群集，但没有提供太多其他功能。...Uber的uReplicator Confluent的Confluent Replicator（收费哦） kafka带来的MM2 而kafka开源社区也终于在kafka2.4带来了自己的企业级解决方案MirrorMaker-V2...虽然官方提供了4中部署方式： 专用MirrorMaker集群运行 单机MirrorMaker运行 在connect cluster上运行 以MM1方式运行 本来cosmozhu准备使用第三中方式运行MM2...+2.0 https://blog.cloudera.com/kafka-replication-the-case-for-mirrormaker-2-0/ https://blog.cloudera.com.../a-look-inside-kafka-mirrormaker-2/ ---- 作者：cosmozhu --90后的老父亲，专注于保护地球的程序员 个人网站：https://www.cosmozhu.fun
配置MirrorMaker连接器：在进行数据镜像之前，需要配置MirrorMaker连接器。MirrorMaker连接器的配置包括源集群和目标集群的连接信息、复制策略和转换器等。...监控MirrorMaker连接器：在进行数据镜像时，需要监控MirrorMaker连接器的运行状态。...---- MirrorMaker MirrorMaker连接器可以将一个或多个Kafka集群中的数据复制到另一个Kafka集群中。...在数据复制过程中，MirrorMaker连接器会保证数据的一致性和顺序性。MirrorMaker连接器还支持多种复制模式，可以根据实际需求选择合适的模式。...我们只需要在MirrorMaker连接器的配置文件中指定源集群和目标集群的地址即可。
一、MirrorMaker介绍 MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具从源集群中消费并生产到目标群集。...3）老版本和新版本迁移主要考虑consumer和producer的兼容性 4）如果允许的话，建议将MirrorMaker部署在目标集群内，这是因为如果一旦发生网络分区，消费者与源集群断开连接比生产者与目标集群断开连接要安全...如果消费者断开连接，那么只是当前读取不到数据，但是数据仍然在源集群内，并不会丢失；而生产者断开连接，MirrorMaker便生产不了数据，如果MirrorMaker本身处理不当，可能会丢失数据。...三、进度监控 1） 检测MirrorMaker提交到源集群的位移。...我们可以使用kafka-consumer-groups来检测分区的最新位移以及MirrorMaker提交的位移，通过计算差值得到落后间隔。
通过上一篇文章Kafka：MirrorMaker-V1我们已经知道了MirrorMaker-V1的基本概念，这篇文章我们来给Kafka-cluster搭建一个mirror。...25.232-b09, mixed mode) zookeeper: apache-zookeeper-3.6.1 kafka: kafka_2.11-2.4.1 kafka集群架构 Mirror创建步骤 MirrorMaker-V1...*sync' 分析一下这个命令 --consumer.config 指的是消费者配置文件路径当然这里的消费者指的是MirrorMaker-V1,消费的数据来自于source-cluster。...验证MirrorMaker-V1是否成功创建 启动MirrorMaker-V1后，利用kafka-producer-perf-test.sh向Kafka-cluster1中g_sync写入数据。...相关文章 Kafka：MirrorMaker-V1 mongodb：实时数据同步（一） Kafka集群搭建
总结：Apache Kafka Mirrormaker V1的解决方案在提供企业管理的灾难恢复方面存在局限性。...MirrorMaker2架构 01 MM V2的核心架构基于Kafka Connect框架，可以抽象的理解为是一个Kafka Connect 里的Source Connector和Sink Connector...减少MirrorMaker集群数量 传统上，MM V1 群集与目标群集共用。因此，在使用Remote Consume和Local Produce模式之后，每个目标集群都会有一个镜像集群。 ?...Rebalance的频繁触发 MirrorMaker2中使用的Kafka Connect框架原生采用了Kafka的High Level Consumer从Kafka读取数据。...参考文章： 【A look inside Kafka Mirrormaker 2】： https://blog.cloudera.com/a-look-inside-kafka-mirrormaker
把CDH集群的kafka数据同步到TBDS的kafka集群做测试，可以使用自带的mirrormaker工具同步 mirrormaker的原理可以网上查看，详细的命令参考https://my.oschina.net
=$DESTINATION_HOST EOF # 运行 MirrorMaker kafka-run-class.sh kafka.tools.MirrorMaker \ --consumer.config...增量恢复 增量恢复需要使用 MirrorMaker 来实现，下面是 MirrorMaker 的用法示例： # 创建MirrorMaker 配置文件 cat > /tmp/mirror-maker.properties...多套集群镜像 运行 MirrorMaker consumer.config : 指定 MirrorMaker 中消费者的配置文件地址 (bootstrap.servers) : 该 MirrorMaker...因为 MirrorMaker 有可能在内部创建多个消费者实例并使用消费者组机制，设置 group.id 。配置 auto.offset.reset=earliest。...producer.config : 指定 MirrorMaker 内部生产者组件的配置文件地址。bootstrap.servers : 配置拷贝的消息要发送到的目标集群。
然后我们将讨论MirrorMaker本书以及如何使用它。我们将分享一些操作技巧，包括部署的性能调优。最后我们将讨论mirrorMaker的一些替代方案。...每一个MirrorMaker过程中只有一个生产者。工作流非常简单。MirrorMaker为每个消费者运行一个线程。...MirrorMaker正在读取分区中的最后一个事件的offset，MirrorMaker提交的最后一个offset以及它们之间的延迟，这个指标不是100%的准确，因为MirrorMaker并不是一直都有...Tuning MirrorMaker MirrorMaker调优 MirrirMaker集群的大小取决于你需要的吞吐量和你能忍受的延迟。...这几乎是你可以对MirrorMaker机械能的所有调优，但是，你任然可以增加每个消费者线程和每个MirrorMaker实例的吞吐量。
Kakfa MirrorMaker 是Kafka 官方提供的跨数据中心的流数据同步方案。...用户只要通过简单的consumer配置和producer配置，然后启动Mirror，就可以实现准实时的数据同步 背景 Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案...用户只要通过简单的consumer配置和producer配置，然后启动Mirror，就可以实现准实时的数据同步 概述 MirrorMaker工具将源Kafka集群镜像到目标(镜像)Kafka集群。
像Mirrormaker这种Kafka原生的工具不是为复制构建的，因此，我们的客户要求提供简单，直观和易于管理的工具。SRM通过在您的环境中跨多个集群启用Kafka复制来帮助您实现业务连续性。 ?...Mirrormaker是目前Kafka用于数据复制需求的常用工具。但是，Mirrormaker对于希望在Kafka集群之间进行关键任务数据复制的企业有严重的限制。...Mirrormaker has severe limitations https://blog.cloudera.com/kafka-replication-the-case-for-mirrormaker...-2-0/ 因此，我们主导创建了Kafka Mirrormaker 2方案，该方案解决了Mirrormaker 1的局限性，能够动态修改配置，使topic在集群之间保持同步并显著提高性能。...Kafka Mirrormaker 2 https://blog.cloudera.com/a-look-inside-kafka-mirrormaker-2/ Streams Replication
进程仅有一个生产者，该生产者将数据发送给目标集群的多个topic； Kafka MirrorMaker的官方文档一直没有更新，因此新版Kafka为MirrorMaker增加的一些参数、特性等在文档上往往找不到...，需要看Kafka MirrorMaker的源码，Kafka MirrorMaker启动脚步如下，发现其主类位于kafka.tools.MirrorMaker，尤其是一些参数的解析逻辑和主要的执行流程，...会比较有助于我们理解和运维Kafka MirrorMaker； 代码示例 exec (dirname 0)/kafka-run-class.sh kafka.tools.MirrorMaker " MirrorMaker...相反，在发生网络分区时如果 MirrorMaker 已经读取了数据，但无法将数据生产到目标集群上，就会造成数据丢失。所以说远程读取比远程生成更加安全。..." 日志监控：若想输出日志数据，则使用一下命令启动，日志数据会保存在kafka/logs/mirrormaker.out 中； .
集群复制方案 目前集群复制方案有2个，一个叫 MirrorMaker ，一个叫 Confluent Replicator 。...MirrorMaker 是相对简单的 stand-alone 工具，针对 Kafka 的2个集群做点对点的复制。而 Replicator 的方案更复杂也支持更多的功能。...下面针对两个方案做了一个对比，摘自 MirrorMaker 的官方文档： 具体实施 MirrorMaker 1....方案本身和上面的 MirrorMaker 很像： 1....官方文档： https://docs.confluent.io/4.0.0/multi-dc/mirrormaker.html CKafka集群： https://cloud.tencent.com/
不过在kafka的使用中还是遇到一些问题，比如mirrormaker莫名其妙的丢失数据[原因稍后再说]，消费数据offset错乱[之后介绍spark streaming的时候再解释] 总之，还是遇到了不少的问题...那么官方提供了一个mirrormaker的工具，它其实就是封装了一个consumer和一个producer，把一个集群的数据，直接消费到另一个集群。...代码可以参考github： https://github.com/apache/kafka/blob/trunk/core/src/main/scala/kafka/tools/MirrorMaker.scala.../kafka-run-class.sh kafka.tools.MirrorMaker --consumerrties --producer.config producer.properties --whitelist...这样就开启了mirrormaker服务，可以看到第一个集群的所有消息，都同步到了第二个集群。
相关文章 kafka:MirrorMaker-V1(MM1)到MirrorMaker-V2(MM2) Kafka：MirrorMaker-V1搭建步骤 Kafka：MirrorMaker-V1
集群复制方案 目前集群复制方案有2个，一个叫 MirrorMaker ，一个叫 Confluent Replicator 。...MirrorMaker 是相对简单的 stand-alone 工具，针对 Kafka 的2个集群做点对点的复制。而 Replicator 的方案更复杂也支持更多的功能。...下面针对两个方案做了一个对比，摘自 MirrorMaker 的官方文档： ? 具体实施 MirrorMaker 1. ...方案本身和上面的 MirrorMaker 很像： 1. ...官方文档： https://docs.confluent.io/4.0.0/multi-dc/mirrormaker.html CKafka集群： https://cloud.tencent.com/
更灵活的 MirrorMaker 2 配置和 MirrorMaker 1 的弃用。 能够在 Kafka Connect 的一次调用中重新启动连接器的任务。...此外，不要错过 Kafka Connect 任务重启增强、KStreams 基于时间戳同步的改进以及 MirrorMaker2 更灵活的配置选项。...MirrorMaker ①KIP-720：弃用 MirrorMaker v1 在 3.0 中，不推荐使用 MirrorMaker 的第一个版本。...展望未来，新功能的开发和重大改进将集中在 MirrorMaker 2（MM2）上。...②KIP-716：允许使用 MirrorMaker2 配置偏移同步主题的位置 在 3.0 中，用户现在可以配置 MirrorMaker2 创建和存储用于转换消费者组偏移量的内部主题的位置。
更灵活的 MirrorMaker 2 配置和 MirrorMaker 1 的弃用。 能够在 Kafka Connect 的一次调用中重新启动连接器的任务。...此外，不要错过 Kafka Connect 任务重启增强、KStreams 基于时间戳同步的改进以及 MirrorMaker2 更灵活的配置选项。...MirrorMaker KIP-720：弃用 MirrorMaker v1 在 3.0 中，不推荐使用 MirrorMaker 的第一个版本。...展望未来，新功能的开发和重大改进将集中在 MirrorMaker 2（MM2）上。...KIP-716：允许使用 MirrorMaker2 配置偏移同步主题的位置 在 3.0 中，用户现在可以配置 MirrorMaker2 创建和存储用于转换消费者组偏移量的内部主题的位置。
跟随 Kafka 2.4 一起推出的 MirrorMaker2 （以下简称MM2）是下一代的多集群镜像解决方案，修复了 MirrorMaker1 的局限性。...如 MirrorMaker2 就是通过在目标集群的Topic上中带 Kafka 实例 ID 来避免循环镜像。或者通过消息 Head 中包含数据中心信息，从而避免循环镜像。...针对连接集群，社区解决方案主要是借助于 Kafka 自带的MirrorMaker工具。早期的MirrorMaker1(以下简称MM1)存在一些问题。...所以在 Kafka2.4 版本中，推出了一个新的 MirrorMaker2（以下简称MM2），MM2 基于 Kafka Connect 框架，解决了上面大部分的问题。...和MirrorMaker类似，Confluent Replicator 也依赖于 Connect 框架，并可以在 Connect 集群中运行。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
