希望提出一个解决方案，可以镜像或复制一个Kafka环境，而不需要Kafka Connect。很难想出任何可能的解决方案或变通办法。非常新的卡夫卡，将感谢您的任何想法和/或指导！
浏览 18提问于2021-05-17得票数 0
当我使用镜像器2时，我有一个问题。
Mirrormaker 2基于Kafka框架，可以将其核心看作是Kafka源和接收器连接器的组合。因此，在MM2体系结构中，有源和接收器连接器。但是，对于MM2中的连接器，是否有额外的Kafka集群？因为在kafka连接设计中，源和汇连接器需要Kafka集群来移动数据。例如，MM2需要源和目标集群；我的问题是，需要第三个MM2来
浏览 5提问于2020-10-15得票数 0
1回答
然而，我有问题，试图让镜像制造者运行。它们都有自己的配置文件和位置。在我应用了升级版本10.2.1之后，Broker运行良好，但是当我试图启动它时，镜像制造者马上就会死掉。我在日志上看到了这个异常
Exception in thread "main" java.lang.Nu
浏览 7提问于2017-05-19得票数 0
我正在使用Kafka Mirrormaker来模拟到运行Spark的弹性MapReduce集群的生产流量。下面是我的设置：2) Kafka Mirrormaker的第二个实例使用1)中创建的测试Kafka实例，并发布到新的Kafka集群
3)弹性Map
浏览 0提问于2018-12-28得票数 0
我正在尝试设置一个Kafka Mirror机制，但是似乎Kafka MirrorMaker的消费者在Kafka集群中只在镜像生成器进程启动时从新传入的数据中读取主题，即它不读取以前保存在主题中的历史数据我使用Kafka的MirrorMaker类来实现：
/bin/kafka-run-class.sh kafka.tools.Mirror
浏览 0提问于2015-10-09得票数 4
我正在尝试确定是否可以将自定义分区程序与mirrormaker 2一起使用，以便在复制到目标集群时使用我的自定义分区程序。根据这里的文档，https://github.com/apache/kafka/tree/trunk/connect/mirror应该可以使用配置格式mm2 -alias.producer.target.partitioner.class=com.my.
浏览 53提问于2020-12-19得票数 3
回答已采纳
我们正在使用运行在Azure Container实例中的Kafka MirrorMaker 1将记录从kafka集群发送到Microsoft Azure Eventhub。我们的主题有10个分区，我们在Azure EventHub中手动创建了一个具有相同名称和分区数量的主题。不幸的是，记录在被MirrorMaker 1复制后失去了原始分区。有没有办法使用MirrorMaker 1保留原始分区？
浏览 46提问于2021-08-24得票数 0
1回答
镜像制造者2是否需要6个系统主题(在连线的两侧)才能复制每个主题？我担心这会导致话题爆炸。我们需要卡夫卡集群之间的双向同步。
浏览 10提问于2022-01-30得票数 0
回答已采纳
我想在源集群和目标集群之间设置kafka MM2。我的用例是，我可以成功地从源集群主题"test“镜像到目标集群主题"test”(没有集群名称前缀)。有什么线索会很感激吗？我想用不同的主题名称在源集群和目标集群之间设置kafka MM2。
浏览 24提问于2022-11-29得票数 -1
1回答
我们正在使用MirrorMaker备份主题。我们注意到，与源集群相比，由Kafka应用程序创建的重新分区主题在目标集群中的大小似乎在不断增加。根据org.apache.kafka.streams.kstream.KStream#repartition()的文档，这是有意义的
Similar to auto-repartitioning, the换句话说，由于在目标集群中没有运行Kafka流应用程序，所以不会发生自动清
浏览 5提问于2021-03-12得票数 3
1回答
我有一个由5名经纪人和4名镜像制造者组成的Kafka集群，可以从两个不同的数据中心镜像日期。我知道kafka broker需要自己的专用硬件，特别是因为磁盘I/O、内存使用量和CPU密集型应用程序都很高。我想知道在甚至是Kafka代理的节点上部署镜像生成器进程是否有意义，或者我是否应该考虑让镜像制造者：
谢谢你，贝尼阿米诺
浏览 0提问于2018-03-02得票数 1
我们在两个数据中心有两个独立的kafka集群，并配置了Mirrormaker来复制一组主题。每个数据中心使用kafka和mirrormaker运行3个节点。此安装程序运行正常。我在所有三个节点上的一个数据中心配置了SASL_PLAINTEXT：Djava.security.auth.login.config=
浏览 3提问于2018-11-12得票数 2
我正在使用strimzi操作符并在k8上运行kafka集群。我想使用Kafka Mirror Maker，我使用CRD yml部署了Kafka Mirror Maker，但我的KMM的pod处于crashLoopBack状态。我不知道问题是什么？my-cluster2-zookeeper-2 1/1 Running 0 10m
strimzi my-connect<
浏览 48提问于2020-11-20得票数 0
我的负载分布在几个数据中心(dc)之间，每个数据中心都有自己的Kafka Broker和数据处理器，它们只为数据中心处理数据。因此，我将有代理broker1-dc1, broker1-dc2,..我希望使用来自所有不同代理的主题DATA_TOPIC，并将这些数据保存在一个数据湖表中，我正在使用结构化流，但这不是必需的。我对火花没有太多的经验，我想知道的是我能做到的最好的方法，我正在考虑两种选择：
有不同的火花作业，其中每个任务使用来自不同数据中心的数据，并具有唯一的检查点位置；有一个为每
浏览 2提问于2021-05-07得票数 0
回答已采纳
我需要将记录从集群A上的主题镜像到集群B上的主题，同时在代理时将字段添加到记录中(例如，)我知道集群A正在发送序列化的JSON。我正在使用和Kafka连接来进行镜像，并且我尝试使用InsertField转换在记录中添加数据，因为它们是代理的。我的配置如下所示：
connector.class=org.apache.kafka.connect.mirror.MirrorSourceCon
浏览 2提问于2020-11-27得票数 2
回答已采纳
我需要使用MirrorMaker 2在active active设置中复制信息，但我还需要它不像通常那样通过添加集群名称作为前缀来更改主题名称。有没有办法在没有任何前缀的情况下避免这种情况？ 本质上，我正在寻找的是一个特定的复制策略，或者使用与前缀不同的东西来避免无限循环的配置。
浏览 72提问于2021-09-01得票数 0
Kafka，不管怎样，都需要三个内部主题:配置、偏移和状态。这些主题是否应该存在于我正在消费数据的Kafka集群中？就上下文而言，我正在做的是其他人设置了一个Kafka集群，其中包含主题(消息？)我在我的本地机器上旋转了一个Kafka集群(用于测试)和这个本地实例(我们将称之为向前)，然后通过键入引导服务器、一些回调处理程序类和一个connect.jaas文件，连接到远程Kafka集群(我们将称之为远程集群这三个主题是否已经存在于远程集群中</
浏览 2提问于2021-12-10得票数 0
回答已采纳
现在，我需要将一些主题从一个Kafka集群复制到另一个集群，但在第二个集群中，我需要另一种格式。我们在Kubernetes中使用Strimzi。在一些连接器中可以这样做，但我不确定MirrorMaker2是否允许我们这样做，因为它是基于Kafka Connect的：kindTimestampConversion,
浏览 5提问于2020-07-31得票数 0
这是关于卡夫卡MirrorMaker工具。
卡夫卡在来源和目的地都是同样版本的卡夫卡卡夫卡_2.11-0.9.0.0
下面是我使用的命令：
./bin/kafka-run-class.sh kafka
浏览 7提问于2016-05-06得票数 2
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
