腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
__
consumer_offset
无法
同步
apache-kafka
、
apache-kafka-mirrormaker
我正在使用具有以下属性的源( A ),宿(B)集群,它们都有自己的单独的zookeeper。我在源A中消耗来自主题测试的一些数据。然后我停止了mm2,并在我将具有相同组id的consumer指向汇点时启动镜像进程,然后它开始从头开始消费。我希望它应该从源码中停止的地方开始。# A.bootstrap.servers = localhost:9092A->B.enabled = true#B->A.enabled = true #B->A.topics =
浏览 55
提问于2021-11-06
得票数 1
回答已采纳
1
回答
卡夫卡:卡夫卡是如何为每个消费者群体存储和检索补偿的?
apache-kafka
、
offset
我知道最近版本的卡夫卡在一个特殊的卡夫卡主题__
consumer_offset
中为消费者群体提供补偿。这个主题中的数据结构究竟是什么?据我理解,Kafka主题不适合查找数据:例如:基本上,我想知道__
consumer_offset
的内部细节或用于用户偏移管理的任何东西。我读过这个wiki页面,但
无法
理解内
浏览 3
提问于2019-11-14
得票数 3
1
回答
通过__
consumer_offset
主题查找主题日志大小以计算消费者延迟
apache-kafka
我一直在研究如何在Kafka中计算消费者滞后,并想知道如何使用__
consumer_offset
消息来计算它。__
consumer_offset
显示了每个主题、分区和组的偏移量,但是如何获得主题大小来计算滞后? 我要做的是将这些数据存储到Elasticsearch中进行分析。我可以使用logtash拉取__
consumer_offset
数据(以及代理上的jmx数据),但是现在需要获取主题大小来计算延迟。
浏览 0
提问于2017-03-29
得票数 0
2
回答
Kafka Mirror Maker未复制Counsumergroup偏移量
apache-kafka
、
apache-kafka-mirrormaker
我假设这也将复制__
consumer_offset
topic,这将反过来
同步
辅助集群中的消费者组偏移量。有没有人可以提供一些建议,比如我们如何使用MirrorMaker或其他解决方案来
同步
辅助集群中的消费者组偏移量?
浏览 0
提问于2019-11-27
得票数 0
2
回答
删除__
Consumer_offset
主题表单Kafka
apache-kafka
、
apache-zookeeper
、
kafka-consumer-api
、
kafka-producer-api
我正在尝试删除Kafka topic __
Consumer_offset
,因为它给我的经纪人带来了很多困惑。当我这样做时,它显示此主题不能被标记为删除。我正在使用zookeeper cli删除它,比如rmr /brokers/topic __
consumer_offset
,但它不起作用!
浏览 0
提问于2019-02-14
得票数 3
1
回答
卡夫卡消费集团无活动成员间歇性和电流抵消时间。
apache-kafka
、
kafka-consumer-api
我正面临一个问题,当我跑步的时候工作会断断续续地失败但它会间歇性地做出正确的反应。 GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET
浏览 2
提问于2022-09-19
得票数 -1
回答已采纳
1
回答
卡夫卡消费者群体协调者不一致
apache-kafka
、
kafka-consumer-api
我在卡夫卡有一个消费集团。但是它的状态信息在多个代理之间是不一致的。怎么会发生这种事?一旦这种情况发生,我们如何才能减轻这种情况?COORDINATOR (ID) ASSIGNMENT-STRATEGY STATE #MEMBERS 10.32.218.112:9092 (1) range
浏览 2
提问于2022-10-04
得票数 1
回答已采纳
2
回答
重新分配__consumer_offsets主题的分区是否会导致问题?
apache-kafka
我们正在调查25名经纪人。但是,__consumer_offsets主题的分区仅分布在3个代理上,并不像我们所期望的那样完全可用。这可能不是问题,因为kafka支持跨代理重新分配分区。但是我们不愿意重新分配它们,因为主题是__consumer_offsets。
浏览 1
提问于2018-03-26
得票数 1
回答已采纳
1
回答
为什么Kafka主题__consumer_offsets在分区中的大小不平衡?
apache-kafka
、
kafka-consumer-api
在__
consumer_offset
主题中,大部分分区是30 In,但有些分区非常大。例如:1分区为15 is,另一分区为250 is,等等。 有什么问题吗?
浏览 2
提问于2021-04-23
得票数 1
1
回答
有时,一个唯一id的使用者组确实会被创建,并且使用者在没有分区的情况下被卡住了。
java
、
apache-kafka
、
kafka-consumer-api
使用者的配置如下所示。有时,对于唯一的id,根本不创建使用者组。我试图按照应用程序名称来使用这些消息。即使是使用者组的脚本也没有在列表中显示特定的使用者组。例如,我在日志中接收到的给定application8的组id根本没有创建,如下所示。 2019-11-14 14:09:27,719 INFO - Kafka版本: 2.3.1 2019-11- 14 :09:27,719 INFO - Kafka commitId: 18a913733fb71c01 2019-11-14 14:09:27,719 INFO - Kafka startTimeMs: 1573720767718 2019-1
浏览 0
提问于2019-11-14
得票数 1
回答已采纳
2
回答
在__
consumer_offset
中配置kafka_connect以减少空间
apache-kafka
、
apache-kafka-connect
我已经将这个配置设置为10分钟,但是没有效果,而且我仍然有错误,因为我的磁盘已经满了,我认为__
consumer_offset
是罪魁祸首。
浏览 10
提问于2020-05-04
得票数 0
回答已采纳
1
回答
将__consumer_offsets迁移到新集群的最佳方法是什么?
apache-kafka
、
cloudera
、
apache-kafka-mirrormaker
我需要将__
consumer_offset
主题迁移到新集群。转移这个话题的步骤是什么?
浏览 6
提问于2020-06-10
得票数 2
2
回答
为什么kafka偏移被存储在应用程序的消费者端?
apache-kafka
目前,偏移量存储在数据存储的使用者端.当我们使用的最新的kafka提供了在代理级别存储消费者偏移量的功能(关于_
consumer_offset
主题,在kafka中)时,在消费者端存储的理由是什么。
浏览 1
提问于2018-03-28
得票数 3
1
回答
卡夫卡2.1为保留和卡夫卡流应用的行为改变,我们能做什么来保持工作?
apache-kafka-streams
以下是卡夫卡2.1的文档。 According to the new semantics, offsets of partitions in a group will topic and is still active (has active consumers). If group becomes empty all it
浏览 1
提问于2019-02-25
得票数 0
回答已采纳
1
回答
如果offsets.retention.minutes=2和cleanup.policy=compact,kafka会删除已提交的偏移量还是压缩它?
apache-kafka
我是卡夫卡的新手,但我理解卡夫卡在__consumer_offsets主题中存储消费者补偿,offsets.retention.minutes定义在此之后消费者补偿将被删除。但对我来说,__consumer_offsets主题有clean.policy=compact。当我取消__consumer_offsets主题时,请参阅下面的结果: Topic:__consumer_offsets PartitionCount:50复制因子:1 Configs:compression.type=producer,cleanup.policy=compact,segment.bytes=104857600
浏览 2
提问于2021-04-14
得票数 2
回答已采纳
3
回答
kafka中的Bootstrap server vs zookeeper?
apache-kafka
、
apache-zookeeper
为什么不推荐使用kafka-consumer中的zookeeper,为什么建议使用bootstrap服务器?bootstrap-server有什么优点?
浏览 0
提问于2017-09-12
得票数 36
回答已采纳
1
回答
来自Kafka
consumer_offset
主题的大量消息
apache-kafka
、
cloudera-manager
我已经和卡夫卡玩了几个月了,我注意到在卡夫卡的内部话题__consumer_offsets下,我有相当多的消息/秒。现在,我们有了大量的其他主题,这些主题在跨代理的消息数量方面相当小。在几个主题上,我们最多只能看到大约1k消息/秒,但我几乎总是看到来自_consumer_offsets的15-20k消息/秒。谁能告诉我一些可以解释这一点的东西,或者提供一些关于为什么consumer_offsets主题有这么多消息的见解。谢谢
浏览 2
提问于2018-03-20
得票数 3
1
回答
__
consumer_offset
的kafka偏移量与实际主题偏移量不一致
apache-kafka
、
kafka-consumer-api
为什么actual topic中的偏移量与__
consumer_offset
中相同topic中的偏移量不同?PFB偏移位置以及使用的命令。
浏览 22
提问于2018-07-30
得票数 0
回答已采纳
1
回答
删除数据库
同步
代理失败
azure-sql-database
ErrorCode: 400 ErrorMessage:
无法
删除数据库'DBSync‘,因为它用作仍包含
同步
组和/或
同步
代理的
同步
元数据数据库。我们
无法
访问安装了
同步
的虚拟机,任何方式都
无法
强制删除数据库。
浏览 8
提问于2021-02-13
得票数 0
2
回答
卡夫卡是否防范消费者在网络分割后做出的承诺?
apache-kafka
、
kafka-consumer-api
假设:在步骤4中会抛出任何异常吗?是否有检测第一个消费者不再分配分区P的检查,因此不应该为其提交抵消?
浏览 5
提问于2020-06-21
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
突发,佳明遭黑客攻击,部分跑友无法同步跑步数据!
Fitbit 出现数据同步故障,移动端显示官网无法访问
极限国度进不去服务器/黑屏闪退卡死/无法同步成就解决办法分享
同步时钟分为几种-述泰同步时钟
Ftrans文件同步系统与传统同步工具的对比
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券