腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(8828)
视频
沙龙
2
回答
重新分配__
consumer_offsets
主题
的
分区
是否会导致问题?
apache-kafka
但是,__
consumer_offsets
主题
的
分区
仅分布在3个代理上,并不像我们所期望
的
那样完全可用。这可能不是问题,因为kafka支持跨代理重新分配
分区
。但是我们不愿意重新分配它们,因为
主题
是__
consumer_offsets
。集群信息:
浏览 1
提问于2018-03-26
得票数 1
回答已采纳
1
回答
在Kafka中,消费者将偏移量提交到哪个__
consumer_offsets
分区
?
apache-kafka
消费者应该以某种方式成为
主题
__
consumer_offsets
中特定
分区
的
生产者。 将__
consumer_offsets
分区
链接到使用者
的
规则是什么?消费者实际上可以从不同
的
代理消费,并且不是每个代理都有相同
的
__
consumer_offsets
分区
。
浏览 21
提问于2019-03-19
得票数 0
回答已采纳
1
回答
关于水槽卡夫卡来源
的
几个问题
apache-kafka
、
flume
:50复制因子:3 Configs:segment.bytes=104857600,cleanup.policy=compact..。
主题
:__
consumer_offsets
分区
: 48领导人:2副本: 2,3,1 Isr: 2,3,1
主题
:_
浏览 1
提问于2016-03-17
得票数 0
3
回答
卡夫卡中
的
"__
consumer_offsets
“
主题
是什么?
apache-kafka
当我运行这个命令时,我得到了2个
主题
。我知道我创建了测试
主题
,但我看到了一个名为"__
consumer_offsets
“
的
附加
主题
。从名称上看,它意味着它与消费者偏移量有关,但它是如何使用
的
呢?$ bin/kafka-topics.sh --list --zookeeper localhost:2181 __
consumer_offsets
test $ bin/kafka-topics.shPartition: 0 Leader:
浏览 5
提问于2018-12-13
得票数 3
2
回答
卡夫卡重新分配
的
__
consumer_offsets
不正确?
apache-kafka
、
replication
我很困惑卡夫卡-重新分配-寓言是如何为__
consumer_offsets
主题
工作
的
?我从1 zk和1 kafka broker开始,用replication=1、partition=1创建一个测试
主题
。效果很好。kafka-重新分配-
分区
-zookeeper 1:2181-
主题
-移动-js
浏览 2
提问于2017-09-18
得票数 2
回答已采纳
2
回答
分区
非常大
的
__
consumer_offsets
主题
apache-kafka
我使用
的
是Kafka 2.0.0,有一些__
consumer_offsets
主题
的
分区
是500-700 GB,超过5000-7000个段。这些部分超过2-3个月。日志中没有错误,该
主题
默认是紧凑
的
。可能
的
问题是什么?可能是配置或消费者问题?或者可能是kafka 2.0.0
的
一个bug?我能做些什么检查?我
的
设置:log.cleanup.policy = [delete
浏览 58
提问于2021-06-03
得票数 0
1
回答
如何刷新__
consumer_offsets
主题
?
apache-kafka
如何刷新__
consumer_offsets
主题
? 对于这个
主题
,有没有最佳实践?我刚刚设置了offsets.retention.minutes=1,重新启动了代理,在日志中检查了offsets.retention.minutes=1,但__
consumer_offsets
主题
的
50个
分区
的
大小仍然相同。
浏览 0
提问于2021-05-19
得票数 0
1
回答
使用kafka go阅读__
consumer_offsets
go
、
apache-kafka
我想使用这个库来阅读
主题
__
consumer_offsets
: 我
的
问题是,除非我指定一个
分区
,否则似乎什么都不会发生。默认情况下,这个
主题
有100个
分区
,查询kafka以获取
分区
列表,然后循环它们来读取它们似乎是不合理
的
,我希望在库中有一个预先存在
的
方法,从
主题
中
的
所有
分区
读取消息。目前,在我与kafkacat确认__
consumer_offsets
topic
浏览 164
提问于2019-06-11
得票数 0
2
回答
卡夫卡复制问题
apache-kafka
、
replication
我用
的
是3经纪人卡夫卡。如果我停止第三个节点:没有问题,我可以使用节点1或2
的
日志。如果我停止第二个节点:没有问题,我可以使用节点1或3
的
日志。如果我停止第一个节点:我不能使用任何东西。当我重启卡夫卡跑步服务
的
时候。日志就在这里,被正确地写好了。我
的
主题
配置是:
主题
: log_topic TopicId: xxx PartitionCount: 32 ReplicationFactor: segment.bytes=1073741824,retention.ms=720
浏览 7
提问于2022-02-07
得票数 0
回答已采纳
1
回答
kafka broker服务器CPU利用率不均衡
performance
、
apache-kafka
、
monitoring
、
cpu-usage
我们有3个kafka集群节点,大约32个topic和400+
分区
分布在这些服务器上。我们让负载均匀地分布在这个
分区
中,但是我们观察到2个代理服务器运行在超过60%
的
CPU上,而第三个运行在10%左右。如何确保所有服务器都正常运行?我需要重新分配
分区
(kafka-reassign-parition cmd)吗? PS:
分区
均匀分布在所有代理服务器上。 ?
浏览 76
提问于2019-04-18
得票数 2
1
回答
集群环境下
的
Kafka监控
apache-kafka
、
cluster-computing
、
grafana
、
prometheus
我有一个kafka集群(3台机器上有1台动物园管理员和1台代理运行在每台机器上),我正在使用kafka_exporter来监控消费者
的
滞后度量,它在正常情况下工作得很好。现在,如果我重新启动kafka_exporter,我将看到一些错误:当我运行命令: kafka-topics.bat -描述--动物园机器1:2181,机器2:2181,机器3:218
浏览 0
提问于2019-06-07
得票数 2
回答已采纳
1
回答
kafka
分区
重新分配仍在进行中
apache-kafka
我有一个kafka集群21,22,23,24,25,但是一些经纪人被永久删除了, 剩下
的
23,24,25,那么__
consumer_offsets
主题
分区
失去了leader: Topic: __
consumer_offsets
Partition: 0 Leader: 24 Replicas: 24 Isr: 24 Topic: __
consumer_offsets
Partition: 1 Leader: -1 Replicas: 21 Isr: 21
分区
1丢失
浏览 12
提问于2020-12-16
得票数 0
回答已采纳
1
回答
卡夫卡高级消费级error_code=15
apache-kafka
、
kafka-consumer-api
当尝试使用高级消费者(使用一个全新
的
消费者组)从Kafka消费时,消费者永远不会开始运行。, sendTimeMs=1487666631192), responseBody={error_code=15,coordinator={node_id=-1,host=,port=-1}})通过谷歌搜索,我发现error_code=15表示组协调器不可用。
浏览 5
提问于2017-02-21
得票数 7
1
回答
关于Apache Kafka
的
澄清
apache-kafka
、
kafka-consumer-api
是否可以将单个
分区
分配给来自同一组
的
多个使用者? 让我们说,使用者正在从
分区
读取数据,并且使用者正在运行一个很长
的
进程。在这种情况下,生产者更新
分区
的
速度将比使用者从同一
分区
消费
的
速度要快。有什么办法可以加快那个
分区
浏览 1
提问于2020-07-28
得票数 0
回答已采纳
2
回答
在Kafka中,多个消费者群体是如何在同一
主题
上跨
分区
工作
的
?
apache-kafka
、
bigdata
我读过和许多这样
的
博客。当使用多个使用者组id运行多个消费者时,多个消费者可以在单个
分区
上运行,并且一个消费者组中
的
一个消费者只能在给定时间从一个
分区
消费。我
的
问题与多重消费者有关,来自
的
多个消费者组消费来自相同
的
主题
如何管理偏移量?对每
浏览 0
提问于2017-07-18
得票数 12
回答已采纳
1
回答
使用admin API
的
Kafka提交
的
和最后
的
偏移量
java
、
apache-kafka
、
kafka-consumer-api
_
consumer_offsets
主题
的
查询,以获取CONSUMER_GROUP负责
的
主题
-partition
的
每个
分区
的
提交偏移量。另一方面,我正在使用下面的代码检索CONSUMER_GROUP
的
每个
主题
分区
的
最新(结束)偏移量requestLatestOffsets.put,提交
的<
浏览 4
提问于2021-09-21
得票数 0
回答已采纳
1
回答
卡夫卡-重新分配-
分区
-生成
主题
__commit_offsets给了我一个奇怪
的
结果:
分区
复制只在一个代理上。
apache-kafka
、
replication
kafka-重新分配-
分区
-生成
主题
__commit_offsets给了我一个奇怪
的
结果:
分区
副本只在一个代理上,但是每个
分区
预期有3个副本。”只有“副本: 1”,“建议
的
分区
重新分配配置”对于每个
分区
具有“副本: 1”或“副本: 2”或“副本: 3”。但是对于“提议
的
分区
重新分配配置”,它希望类似于“副本: 1,2,3”或“副本: 2,3,1”等等,用于对3个代理
的
__commit_offsets
浏览 2
提问于2021-11-03
得票数 0
回答已采纳
1
回答
删除干净
的
偏移-检查点文件以强制压缩安全吗?
apache-kafka
我需要一种强制压缩__
consumer_offsets
主题
的
方法。在一个测试环境中,我尝试删除文件清洁器-偏移-检查点,然后kafka删除了许多段,如下所示。在生产环境中删除此文件安全吗?删除清洁剂之前
的
-偏移-检查点:-rw-r--r--. 1 root root 0 14 giu 17.20删除干净
的
偏移-检查点后
的
(如您所见,每个
分区
浏览 2
提问于2021-06-15
得票数 0
回答已采纳
1
回答
为什么Kafka经纪人在__
consumer_offsets
主题
中存储消费者组
的
重新平衡元数据?
apache-kafka
、
apache-kafka-streams
在使用Kafka Streams应用程序时,我们观察到组协调器代理将重新平衡元数据存储在__
consumer_offsets
主题
中。因为在我们
的
例子中有1200个流线程,这个元数据变得很大(在没有压缩
的
情况下大约是100MB,在LZ4压缩之后是25MB),而且由于offsets.load.buffer.size参数
的
默认值只有5MB,相应__
consumer_offsets
主题
分区
的
关注者代理无法读取。为什么经纪人要在__
co
浏览 10
提问于2018-08-24
得票数 2
1
回答
如何访问和提交卡夫卡
的
__
consumer_offsets
主题
的
抵消?
java
、
offset
、
apache-kafka
、
producer-consumer
、
kafka-consumer-api
按照卡夫卡
的
说法 当偏移管理器接收到OffsetCommitRequest时,它会将请求附加到一个名为__
consumer_offsets
的
特殊压缩卡夫卡
主题
中。使用Kafka工具1.0 Beta 2,我可以看到__consumer_offets
主题
和许多
分区
,其中只有一个
分区
有数据。无法理解它是如何在其中创建
分区
的
,以及为什么只有一个
分区
有数据。现在,我还可以如何提交本
主题
中
的
浏览 5
提问于2015-08-27
得票数 4
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
系统解读Kafka的流和表(二):主题、分区和存储
Kafka 运维纪实-一次磁盘故障后消费者无法消费
关于Kafka
深入Kafka系列(二)consumer开发
kafka之consumer
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券