腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(486)
视频
沙龙
1
回答
Kafka
Mirror
Maker
2
偏移
复制
不起作用
apache-kafka
、
apache-kafka-mirrormaker
我们正在测试
kafka
的灾难恢复场景。我们在不同的区域有
2
个
kafka
集群。我们使用MirrorMaker
2
来
复制
主题和消息。主题和消息是可以
复制
的。但我们观察到
偏移
量并没有
复制
。例如,从producuder中产生了10条指向
kafka
区域1的消息。消费了5条来自消费者的消息指向
kafka
区域1 停止消费者指向region1 开始消费者指向region
2
使用消息 这里的期望是区域
2</em
浏览 42
提问于2020-09-24
得票数 2
1
回答
每个连接器/使用者的MM
2
配置
apache-kafka
、
connect
、
apache-kafka-connect
、
apache-kafka-mirrormaker
/bin/connect-
mirror
-
maker
.sh ./config/
mirror
-
maker
.properties 我有以下配置: clusters = A, BB.bootstrap.servers = hostB1:9093, hostB
2
:9093 A
浏览 28
提问于2020-06-12
得票数 0
2
回答
Kafka
Mirror
Maker
未
复制
Counsumergroup
偏移
量
apache-kafka
、
apache-kafka-mirrormaker
我们已经设置了MirrorMaker来跨两个
Kafka
集群
复制
消息。我们还在
mirror
maker
的消费者属性中设置了exclude.internal.topic=false,以
复制
内部主题。我假设这也将
复制
__consumer_offset topic,这将反过来同步辅助集群中的消费者组
偏移
量。但当我们在辅助集群中启动消费者组时,它从一开始就开始消费消息,所以看起来消费者组
偏移
量没有在辅助集群中
复制
。有没有人可以提供一些建议,比如
浏览 0
提问于2019-11-27
得票数 0
1
回答
卡夫卡镜片制造工具出错[
kafka
版本0.10]
apache-kafka
我试图使用镜像工具将数据从一个主集群
复制
到备份,但我得到了以下错误。nykpsr000001726$ bin/
kafka
-
mirror
-
maker
.sh --consumer.config config/
mirror
-consumer.properties --producer.config[mirrormaker-thread-0]
Mirror
maker
thread failure due to (
kafka
.tools.
浏览 9
提问于2017-02-03
得票数 0
回答已采纳
1
回答
如何使用
Kafka
mirror
maker
复制
模式?
apache-kafka
、
confluent-platform
、
confluent-schema-registry
我们正在使用
mirror
maker
同步本地和AWS
Kafka
主题。在on-premise中注册了模式的主题如何在其他集群(本例中为AWS)中完全相同地
复制
?如何使用
mirror
maker
复制
Avro模式?
浏览 17
提问于2019-06-19
得票数 4
回答已采纳
1
回答
Mirror
Maker
不自动生成主题
apache-kafka
我正在设置
2
个
kafka
簇之间的镜子制造器。 卡夫卡版本:
kafka
_2.11-2.1.0 我的server.properties有auto.create.topics.enable=true。我正在我的目标集群上运行
mirror
maker
。 但是当源集群添加一个主题时,新的主题不会自动创建。我最终不得不手动创建它们。一旦重新启动,它将在源上插入数据后立即开始
复制
。
Mirror
Maker
命令 ./
kafka
-
m
浏览 8
提问于2019-03-03
得票数 0
1
回答
镜子制造器螺纹失效
apache-kafka
我已经配置了群集网络,当尝试从一个码头堆栈中的服务运行
Kafka
MirrorMake时,我从服务日志中得到一个错误:compression.
浏览 0
提问于2019-01-10
得票数 0
回答已采纳
1
回答
Kafka
数据从一台服务器
复制
到另一台服务器
migration
、
apache-kafka
、
apache-zookeeper
、
data-migration
我的
kafka
版本是0.8.2。现在我想将数据从服务器A
复制
到服务器B,然后期望服务器B中的
kafka
与服务器A中的
kafka
一样工作。我尝试
复制
$log.dirs中的所有数据,包括kafa-logs和zookeeper。但它
不起作用
。 有没有可能只
复制
一些数据文件,然后让它在服务器B中像在服务器A中一样正常工作?就像我从生产环境中
复制
sql转储文件并运行到我的本地mysql服务器中一样,它的工作方式与在生产环境服务器中相同。
浏览 0
提问于2015-11-19
得票数 2
2
回答
手动设置
Kafka
消费者
偏移
量
apache-kafka
在我们的项目中,有主动的
Kafka
服务器(PR)和被动的
Kafka
服务器(DR),这两个
Kafka
brokers在我们的项目中都配置了相同的组名、主题名称和分区。我这里的问题是,
Kafka
消费者是否能够无缝地从上次读取的地方消费消息?
浏览 7
提问于2020-03-31
得票数 2
1
回答
将消息从一个
Kafka
主题“推送”到另一个主题
apache-kafka
、
streaming
、
message
因此,我的任务是建立一个
kafka
to
kafka
流媒体服务,我的公司将从我们的主题中发送
kafka
消息给客户
kafka
主题。 做这项工作最好的工具是什么?
浏览 12
提问于2021-07-16
得票数 0
1
回答
卡夫卡镜片制造者启动错误
apache-kafka
=testtarget.configacks=1client.id=
mirror
_
maker
_producer[2018-03-22 20:52:09,375] FATAL [mirrormaker-thread-0]
浏览 2
提问于2018-03-22
得票数 0
1
回答
信息预处理(主题-主题)-卡夫卡连接API与流对卡夫卡消费者?
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
、
apache-kafka-connect
我一直在研究使用
Kafka
,因为它提供了很多有用的东西(配置管理、
偏移
存储、错误处理等等)。其他选项是KafkaConsumer/Producer和或流,但是这些选项需要自己的实例来运行逻辑,而不是
偏移
重试错误处理。
浏览 1
提问于2018-04-19
得票数 0
回答已采纳
1
回答
Kafka
-如何在第一个集群宕机时自动使用第二个集群?
apache-kafka
、
mirroring
我正在尝试使用
mirror
maker
将数据从一个
kafka
集群
复制
到另一个
kafka
集群。假设主集群宕机,是否可以自动向第二个集群发送
kafka
消息?当群集1再次自动启动时,是否有可能在手动干预较少的情况下使群集1与群集
2
同步? 任何帮助都是非常感谢的。
浏览 1
提问于2017-04-11
得票数 2
1
回答
Kafka
mirror
maker
无法正常工作
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
9092,source_broker_ip:9092 group.id=test-consumer-group_3bin/
kafka
-run-class.sh
kafka
.tools.MirrorMaker --consumer.config config/consumer.config-
浏览 0
提问于2018-05-22
得票数 1
1
回答
Kafka
集群云上迁移,当offsets由我们管理时,如何确保消费者从正确的offsets消费?
apache-kafka
对于
Kafka
集群从AWS到AZURE的迁移,挑战在于我们正在为消费者使用我们的自定义
偏移
量管理。如果我
复制
带有
偏移
量的ZK节点,
Kafka
Mirror
将更改这些
偏移
量。有没有办法确保
偏移
量相同,以便迁移可以顺利进行?
浏览 0
提问于2019-01-18
得票数 2
1
回答
本地只写Cassandra节点
cassandra
我有一个快速生成测量结果的过程,我希望将它们存储在Cassandra中。该过程在数据中心的服务器上运行,并且在同一数据中心中有一个Cassandra节点,以及另一个。如果生成测量的服务器失去连接,我希望在本地记录测量,然后当连接恢复时,数据将由环正确处理。是否可以运行某种本地只写Cassandra节点(它使用最少的硬盘空间),它连接到其他节点,或者我必须通过某种消息总线运行?
浏览 2
提问于2016-06-24
得票数 1
1
回答
镜像
Maker
2
无法连接到目标集群代理
apache-kafka
、
apache-kafka-connect
、
aws-msk
、
apache-kafka-mirrormaker
当我试图检查连接器的状态时,上面写着:运行:{"name":"
mirror
-
maker
-test-connector","connector":{"state":"RUNNING","worker_id],"type":"source"}[2022-01-12 19:46:33,772] DEBUG [Producer clientId=connector-producer-
mi
浏览 11
提问于2022-01-11
得票数 0
4
回答
Kafka
MirrorMaker
2
-未镜像消费者组
偏移
量
apache-kafka
、
apache-kafka-mirrormaker
我已经设置了在两个DC之间
复制
数据的MirrorMaker
2
。connector.class = org.apache.
kafka
.connect.
mirror
.MirrorCheckpointConnector我的数据正在按预期进行
复制
。但是,消费者组
偏移
量没有被
复制
。.在此主题中发布了新消息,并且
mirror
maker
还将数据镜像到
浏览 31
提问于2020-02-16
得票数 6
1
回答
在从汇合
复制
器迁移到Apache 2.0时维护相同的
偏移
量
apache-kafka
、
apache-kafka-mirrormaker
我们目前正在尝试将汇合
复制
器迁移到v2.0。我们面临的问题是,当镜像制造者就同一主题启动时,已经被
复制
者
复制
的消息将再次被
复制
。当消息在目标集群中被
复制
时,不应该发生这种情况。以下是更多细节: RCA: replicator分配用于
复制
消息的使用者组。此使用者组维护源主题的
偏移
量。但是,我们无法在镜像制造商
2
中将相同的消费者组分配给“消费者配置”。
mirror
maker
1.0 :可以在consumer.prope
浏览 3
提问于2020-11-26
得票数 0
回答已采纳
2
回答
在特定端口运行
Kafka
Mirror
Maker
2
apache-kafka
、
apache-kafka-mirrormaker
为了在两个DC之间
复制
数据,我设置了一个
Kafka
MM
2
。它运行正常。但每次我重新启动时,它都在不同的端口启动。对于
kafka
,我们将手动指定端口。但对于MirrorMaker,没有在属性中手动设置端口的选项。我还尝试了各种选项,比如设置-Dserver.port。但是没有一个是有效的。
浏览 3
提问于2020-08-29
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka 遇上 Spark Streaming
Kafka的简单介绍
必读:再讲Spark与kafka 0.8.2.1+整合
Kafka使用及Python示例
Python操作分布式流处理系统Kafka
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券