腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kafka
:谁负责维护
消费
者群体读取
偏移量
消息
的
上限?
、
我知道
Kafka
Queue Partition中
的
所有
消息
(或
偏移量
)都有它
的
偏移量
,它负责
偏移量
的
顺序
。但是,如果我
有
一个
Kafka
Consumer Group (或单个
Kafka
Consumer),它正在读取特别是
Kafka
主题分区,那么它
如何
维护读取
的
偏移量
消息
,以及谁维护这个<e
浏览 18
提问于2020-07-04
得票数 1
回答已采纳
1
回答
Akka streams
Kafka
消费
者进程并行
、
、
、
、
我正在开发一个使用Akka
Kafka
连接器
的
Kafka
消费
者应用程序。我希望
消费
者并行处理
消息
。我应该选择哪个
消费
群体??
如何
在
消费
者端配置并行度?
浏览 16
提问于2020-05-06
得票数 0
1
回答
如何
对
Kafka
消息
进行
有
偏移量
的
顺序
消费
?
、
、
、
、
我没有使用kafkaConsumer程序中
的
偏移量
按
顺序
获得所有的
kafka
消息
,但是当手动检查
kafka
消息
时,会发现存在一系列
偏移量
。有人可以建议,因为我只是一个初学者在这个领域
的
apache
kafka
?我使用
的
是
kafka
消费
者
的
默认配置: ConsumerConfig values: allow.auto.create.top
浏览 23
提问于2021-08-16
得票数 0
3
回答
Kafka
消费
者(0.8.2.2)是否可以批量读取
消息
、
、
根据我
的
理解,
Kafka
消费
者
顺序
地从分配
的
分区读取
消息
...我们计划让多个
Kafka
客户(Java)拥有相同
的
组I'd ..so,如果它按
顺序
从指定
的
分区读取数据,那么我们
如何
实现高吞吐量..i.e。例如,Producer每秒发布40条
消息
...
消费
者进程
消息
1每秒..though我们可以
有
多个
消费
浏览 0
提问于2016-02-25
得票数 5
1
回答
Kafka
有
批量
消费
者吗?
高级
消费
者API似乎是一次读取一条
消息
。如果
消费
者想要处理这些
消息
并将其提交给其他下游
消费
者,比如Solr或Elastic-Search,这对他们来说可能是一个很大
的
问题,因为他们更喜欢批量发送
消息
,而不是一次只有一个。在内存中
对
这些
消息
进行
批处理也不是一件容易
的
事,因为
Kafka
中
的
偏移量
只有在批处理已经提交时才需要同步,否则具有未提交下游<e
浏览 2
提问于2016-03-04
得票数 9
1
回答
扩容分区时
的
Kafka
主题排序
、
、
考虑到您
的
生产者为系统
的
用户创建
消息
,并且这些
消息
的
顺序
在用户级别很重要。我
的
生产者将
消息
添加到
有
两个分区
的
主题中,我使用针对user_id
的
散列将每个用户
的
所有
消息
放在相同
的
分区中,以保证
顺序
。
如何
在保持
消息
顺序
的
同时,扩展系统并向主题添加更多分区?<e
浏览 14
提问于2019-03-18
得票数 2
1
回答
Kafka
提交漏洞
我正在尝试实现一个循环,我们将在循环中处理一批
消息
,成功处理后,我们将提交
消息
的
偏移量
,但是对于下面的场景,我无法找到任何有形
的
输入。Read: 1,2,3,4,5...10我将依次循环处理它们,如果
消息
处理成功,则只应提交
偏移量
。所以想象一下,1,2成功,3失败,4,5成功,7,8失败...如果我只提交
偏移量
1,2,4,5,那么未提交
的
偏移量
会发生什么? 3,7,8...
有
什么想法会再读一遍吗?
浏览 1
提问于2021-05-27
得票数 1
3
回答
Kafka
如何
保证
消费
者不会重复阅读一条
消息
?
Kafka
如何
保证
消费
者不会重复阅读一条
消息
? 或者上面的场景是可能
的
吗?同一
消息
可以被单个或多个
消费
者读取两次吗?
浏览 1
提问于2020-01-14
得票数 3
3
回答
Kafka
消费
者组丢失未提交
的
消息
、
我使用
的
消费
者组只有一个
消费
者,只有一个经纪人( docker wurstmeister image )。在代码中决定是否提交
偏移量
-如果代码返回错误,则不提交
消息
。我需要确保系统不会丢失任何
消息
-即使这意味着永远重试相同
的
消息
(现在;)。为了测试这一点,我创建了简单
的
处理程序,它不会在'error‘字符串作为
消息
发送到
kafka
的
情况下提交
偏移量
。+<
浏览 1
提问于2018-03-19
得票数 2
1
回答
kafka
消息
监控,显示实际发布或
消费
的
消息
、
我在本地服务器上安装了
kafka
,通过在服务器上运行
的
一些其他应用程序,生产人员正在将
消息
发布到我
的
kafka
服务器内
的
代理,通过zookeeper,我可以很容易地看到我
的
kafka
的
健康状况,它显示了在我
的
kafka
服务器中创建
的
所有主题,主题中
的
偏移量
等等,所以zookeeper唯一不能显示
的
是单个主题中
的
浏览 7
提问于2016-08-19
得票数 0
1
回答
关于多节点Akka-Streams瞬时
消息
的
Kafka
消费
者问题
、
我们使用
Kafka
来存储由集群中
的
节点生成
的
消息
,并分发到集群中
的
所有节点,我让它主要使用akka-streams,但有几个问题我必须解决。这是
有
一些限制
的
。首先,
消息
必须由集群中
的
每个节点使用,但只由一个节点生成。我知道我可以为每个节点分配一个组id,这可能是它
的
节点ID,这意味着每个节点都会收到
消息
。已经排序好了。但这里
有
一些问题。数据是非常短暂和相当大
的
(仅
浏览 0
提问于2017-12-06
得票数 0
1
回答
Kafka
:我们可以让
消费
者订阅相同
的
主题,但在主题中有不同
的
管道吗?
、
我
有
200个
Kafka
用户,他们可以做这些事情中
的
任何一个,1.他们可以订阅200个不同
的
主题,并将
消费
敏感
的
消息
。2.所有200个
消费
者可以订阅单个topic。问题: 1.创建200个或更多
的
topic是一个好
的
设计吗? 2.在第二个场景中,我们
如何
实现发布到topic
的
消息
只根据某个参数发送给特定
的
消费
者。
浏览 0
提问于2020-04-09
得票数 1
3
回答
卡夫卡中
的
"__consumer_offsets“主题是什么?
我知道我创建了测试主题,但我看到了一个名为"__consumer_offsets“
的
附加主题。从名称上看,它意味着它与
消费
者
偏移量
有关,但它是
如何
使用
的
呢?$ bin/
kafka
-topics.sh --list --zookeeper localhost:2181 __consumer_offsets test $ bin/
kafka
-topics.shTopic: __consumer_offsets Partition:
浏览 5
提问于2018-12-13
得票数 3
1
回答
为什么卡夫卡
消费
者(0.10.0.0)
的
新
消费
者群体会看到旧
的
/先前发布
的
信息?
、
我
有
一个制作人,它发布关于“我
的
主题”
的
消息
,非常好。我
有
两个不同
的
消费
者群体中
的
两个
消费
者在收听这些信息。我按照下面的
顺序
开始了这两个
消费
者和制片人。1)启动“group1”组中
的
使用者1)启动生产者发布数百条
消息
/o
浏览 3
提问于2016-11-16
得票数 1
回答已采纳
3
回答
为什么
Kafka
的
消费
者会连接到zookeeper,而生产者会从经纪人那里获得元数据?
、
为什么
消费
者要连接到zookeeper来检索分区位置?
kafka
制作人必须连接到其中一个代理才能检索元数据。我
的
观点是,当每个代理都已经拥有所有必要
的
元数据来告诉生产者发送
消息
的
位置时,zookeeper到底
有
什么用?难道经纪人不能把同样
的
信息发送给
消费
者吗?我可以理解为什么代理拥有元数据,这样就不必在每次向它们发送新
消息
时都与zookeeper建立连接。zookeeper有没有我遗漏
的
功能?我发现
浏览 1
提问于2015-01-13
得票数 39
回答已采纳
5
回答
Kafka
Consumer:
如何
在Python中从最后一条
消息
开始
消费
、
、
、
我使用
的
是
Kafka
0.8.1和
Kafka
python-0.9.0。在我
的
设置中,我
有
2个
kafka
代理设置。当我运行我
的
kafka
消费
者时,我可以看到它从队列中检索
消息
,并跟踪两个代理
的
偏移量
。我
的
问题是,当我重新启动
消费
者时,它会从头开始使用
消息
。我所期望
的
是,在重启时,
消费
者将从它死
浏览 3
提问于2014-07-10
得票数 8
5
回答
Kafka
主题和
偏移量
我
有
一个问题,假设有一个主题T1,
有
两个
消费
者C1,C2属于两个不同
的
组,当前
偏移量
是0。我们知道
Kafka
维护consumer.So
的
偏移量
,如果C1
消费
消息
,
偏移量
变成1,那么如果C2
消费
消息
,它是从1
偏移量
开始还是从0
偏移量
开始
消费
消息
?意味着
如何
维护两个不同
消
浏览 1
提问于2020-02-20
得票数 0
4
回答
如何
在不
消费
的
情况下读取
kafka
消费
群
的
消息
?
、
、
我正在使用一个跨多台机器
的
通用
消费
者组来管理一个
kafka
队列。现在我还需要显示队列的当前内容。
如何
只读取组中尚未读取
的
消息
,同时使这些
消息
再次可供实际处理这些
消息
的
组中
的
其他使用者读取。
浏览 0
提问于2018-06-21
得票数 3
1
回答
在运行
的
集群中添加分区
的
同时保持
消息
的
顺序
、
在运行
的
集群中添加分区时,我们可以保持
消息
的
顺序
吗? 可能早些时候,每个分区有2个分区和4种类型
的
消息
,我们得到了理想
的
密钥散列算法,因此为每个分区分配了2种类型
的
消息
(分区键)。添加2个新分区(当集群仍在运行时)将开始向旧分区和新分区添加新
的
msg (根据新
的
密钥散列算法),但是在
偏移量
为2000
的
partition#2中
有
一个type#4<e
浏览 9
提问于2021-07-13
得票数 1
1
回答
如果我
的
kafka
用户组在每次重启后发生更改,会发生什么情况
、
、
、
、
例如,我
的
kafka
消费
者(在consumer Group 1中)正在阅读来自
Kafka
主题A
的
消息
。 现在,如果该
消费
者在失败之前
消费
了12条
消息
。当
消费
者重新启动,并且现在它有不同
的
消费
者组(即
消费
者组2)时,问题1 -?在重启时,它会从
偏移量
(或位置)中停止
的
地方继续,因为该
偏移量
是由
Kafka<
浏览 1
提问于2021-02-04
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
加米谷大数据:2入门介绍kafka0.10.x
消息中间件—Kafka数据存储(一)
第十篇|SparkStreaming手动维护Kafka Offset的几种方式
Hadoop进级教程之-Kafka架构原理
Zzreal的大数据笔记-KafkaDay01
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券