腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(917)
视频
沙龙
1
回答
强制
消费者
只读
那些
在
消费者
苏醒
后
出现在
主
题中
的
消息
、
、
我们有没有办法强迫
消费者
阅读最新
的
内容?例如,假设我
在
消费者
组CG1中有一个主题t1和
消费者
C1。如果t1中有10条
消息
(m0到m10),那么只要C1有生命,它就会读取5条
消息
,然后崩溃,现在在崩溃之前,假设它提交了5条
消息
。同时,主题又收到了5条
消息
(m11到m15)。现在C1重新启动,在此之后t1又收到5条
消息
(m16到m20)。我希望C1
强制
从m16开始读取,即从C1恢复
后
t
浏览 15
提问于2019-03-20
得票数 1
回答已采纳
1
回答
重试消费来自Kafka主题
的
消息
、
、
我正在开发一个模块,在这个模块中,它使用来自Kafka主题
的
消息
并发布到下游系统。在下游系统不可用
的
情况下,
消费者
不要确认Kakfa
消息
。因此,当我
的
消费者
在下游系统不可用时收到
消息
时,kakfa
的
偏移量将不会被提交。但如果我在下游系统启动
后
收到新
消息
,并且当我确认该
消息
时,最新
的
偏移量将被提交,
消费者
将永远不会收到没有偏移量提交
的</e
浏览 17
提问于2019-08-01
得票数 0
1
回答
卡夫卡
消费者
关机
后
信息丢失状态
、
、
我把kafka和python
的
消费者
一起使用。当
消费者
运行起来,信息被推送到卡夫卡,然后被
消费者
阅读时,一切都很好。然而,如果
消费者
因为任何原因而下降,当它回来
的
时候,它
只读
取新
的
信息,这些信息是
在
消费者
恢复
后
发布到kafka
的
。关机-电源之间
的
消息
丢失了,也就是说,用户
在
恢复
后
不会读取这些
消息</em
浏览 3
提问于2016-01-08
得票数 0
回答已采纳
1
回答
消费者
收到
后
删除Kafka
消息
、
、
在
我
的
kafka java项目中,我希望在所有感兴趣
的
消费者
收到新
消息
后
立即删除这些
消息
。经过一些研究,我发现了一些旧
的
堆栈溢出问题:,和。在读完所有这些之后,我有一些问题。据我所知,我真的应该依靠时间或空间
的
保留。然而,答案是旧
的
,所以可能有什么改变了?有没有其他方法可以确保在所有当前连接
的
消费者
阅读完
消息
后
立即删除该
消息
?在
浏览 0
提问于2020-06-25
得票数 0
1
回答
同一消费群体中
的
多个Kafka
消费者
如何读取主
题中
的
一个分区
的
消息
?
、
、
、
我想知道同一个
消费者
组中
的
消费者
是如何从一个只有一个分区
的
主
题中
读取
消息
的
。例如,我
在
一个
消费者
组中有3个
消费者
,而这个组正在轮询来自具有分区A
的
主题A
的
消息
,所以如果我
在
主题A中一个接一个地发送1000条
消息
,它将如何被传递给3个使用者。 paraellely?Would 会像3条
消息
被并行地传递给3位<em
浏览 7
提问于2022-12-02
得票数 0
1
回答
Apache Kafka控制台生产者-
消费者
示例
我已经
在
Windows系统上安装了Apache Kafka,并尝试了一个控制台生产者-
消费者
示例。如果我
在
主
题中
添加了新
的
消费者
,只有添加
消费者
后
的
消息
才会打印到控制台。有没有办法获取特定主题
的
所有
消息
?
浏览 0
提问于2016-03-31
得票数 1
1
回答
如何使用Kafka Java api检查
消费者
数据
、
、
这是我
的
消费者
代码:HI我
在
控制台中没有得到任何输出。
浏览 0
提问于2016-04-03
得票数 0
2
回答
Kafka实现
消息
过滤
的
最佳方式
想知道下面这种情况
的
最好方法。我应该有1个主题和分区数等于no吗?并在发布
消息
时使用key,因此每个分区将由一个特定
的
浏览 6
提问于2020-04-22
得票数 0
2
回答
批量处理kafka
消息
、
、
寻找关于我想要对主
题中
的
消息
进行处理
的
想法。我希望能够处理
消息
,
在
我
的
情况下,以10,000个为一批
的
事件。这是因为我
在
转换
后
将
消息
插入到我们
的
雪花仓库中。雪花加载
在
批处理加载时执行得更好。
在
主
题中
有10,000条
消息
之后才从主
题中
拉出
消息
的
消费者<
浏览 23
提问于2019-08-08
得票数 0
1
回答
如何通过Spring Rest端点使用kafka中
的
事件
、
、
我是卡夫卡
的
新手。我已经看到
消费者
“总是在运行”,并在主题发布
后
立即从主
题中
检索
消息
。
在
一个典型
的
数据库web应用程序中,您有一个rest API,它连接到DB并返回一些响应。在我看来,
消费者
会保持活跃,永远不会关门。所以我不知道如何根据客户端请求返回主
题中
的
消息
子集。 我以为这个服务会创建一个
消费者
来获取我需要
的
东西,但就
消费者
永远不会关闭而
浏览 17
提问于2021-05-06
得票数 0
1
回答
断开
后
自动删除kafka消费群
、
、
在
我
的
Java应用程序中,每隔几秒钟就会给使用者分配一个特定
的
TopicPartition,并尝试从特定
的
主题+分区读取特定
的
消息
。
在
阅读了
消息
(使用poll() )之后,我立即断开了与使用者
的
连接。因为上面的场景可以
在
多线程环境中运行,所以使用者组名具有前缀+随机散列,例如my_consumer_group_EWQSV (因为kafka不会将相同
的
特定分区分配给同一组中
的
两个<e
浏览 5
提问于2020-03-25
得票数 0
2
回答
使用ActiveMQ,可以
强制
代理重新发送建议
消息
吗?
、
、
、
我正在计划一个“
消费者
感知”服务,只有当至少有一个
消费者
在这个主题上时,它才会处理某种类型
的
信息。使用spring,我能够创建以下代码来监控
消费者
何时连接或断开主题:public但是,
在
注册此侦听器之前,我可能已经
在
某个主
题中
有了一个
消费者
。 有没有办法
强制
activeMQ发送某个主题或类似
浏览 0
提问于2016-09-21
得票数 1
2
回答
Kafka topic
的
记录在
消费者
重启
后
未被消费
我
在
Kafka consumer上遇到了非常奇怪
的
问题。我
的
设置如下所示。true</prop><prop key="auto.offset.reset">latest</prop>
在
我
的
组中有我没有
在
消费者
端做任何手动
的
偏移管理
浏览 10
提问于2018-04-11
得票数 0
1
回答
卡夫卡承诺:生产者与
消费者
几个月以来,我一直在学习卡夫卡,我一直在看到“提交”这个词
在
制片人和
消费者
中都出现了。这让我困惑了很长一段时间,但我想我现在有了一个更好
的
理解。在这里,提交意味着事务性生产者能够成功地将
消息
写入主
题中
的
分区。卡夫卡本身并不自动跟踪哪些
消费者
已经阅读了哪条信息。使用者需要通知代理它已经
在
主
题中
读取了特定
的
消息
。通过此确认过程,使用者通知它已成功读取
的<
浏览 0
提问于2021-07-16
得票数 1
1
回答
卡夫卡丢失
消息
下面是我
的
场景:我们已经多次注意到,当我们
在
没有
消费
浏览 25
提问于2017-01-26
得票数 1
2
回答
RabbitMQ工作队列:
在
发送程序之后启动使用者[Java]
、
、
我对使用RabbitMQ作为
消息
队列协议非常陌生,我已经编写了RabbitMQ教程中给出
的
发送者和
消费者
工作队列
的
代码。当我们
在
发送者之前启动
消费者
时,上面的事情运行得很好。但是,如果我们在运行发送器之后启动
消费者
,就会出现问题。这些
消息
都不会被
那些
在运行发送器之后启动
的
消费者
使用。
在
研究了RabbitMQ
的
架构和AMQP相关
的
东
浏览 0
提问于2013-08-29
得票数 1
1
回答
spring-cloud-stream-kafka应用启动
后
只消费最新
消息
、
、
在
我们
的
项目中,我们使用spring-cloud-stream-binder-kafka版本1.1.2与kafka集成。最近,我们遇到了这样一种情况:我们
的
一个服务
在
启动
后
使用了某个主
题中
的
旧
消息
(已经使用过)。该主题有2个分区和2个
消费者
分组
在
一个
消费者
组下。我们不确定偏移量是否正确提交给zookeeper。
在
启动期间,每条
消息
都会抛出下面的错误
消息</
浏览 14
提问于2017-06-28
得票数 0
2
回答
Spring
消费者
:有没有一种使用Kafka0.8从多个分区读取
的
方法?
、
、
、
、
这就是场景:我知道,使用与Spring相关
的
最新API (比如kafka 2.10),我们可以这样做:从不同
的
分区读取与同样
的
kafka主题相关<e
浏览 0
提问于2017-04-17
得票数 1
2
回答
卡夫卡-曾经
的
生产者和
消费者
、
、
我正在为一个简单
的
数据管道实现只需一次
的
语义,使用Kafka作为
消息
代理。通过设置set enable.idempotence=true,我可以
强制
Kafka producer对每条生产记录只写一次。然而,
在
消费方面,我需要保证
消费者
只读
取每条记录一次(我对将消费
的
记录存储到外部系统或另一个正在处理
的
Kafka主
题中
不感兴趣)。在这种情况下,我是否需要求助于Kafka事务API来
在
消费者</
浏览 0
提问于2020-10-10
得票数 1
1
回答
如果offsets.retention.minutes=2和cleanup.policy=compact,kafka会删除已提交
的
偏移量还是压缩它?
我是卡夫卡
的
新手,但我理解卡夫卡在__consumer_offsets主
题中
存储
消费者
补偿,offsets.retention.minutes定义在此之后
消费者
补偿将被删除。PartitionCount:50复制因子:1 Configs:compression.type=producer,cleanup.policy=compact,segment.bytes=104857600 因此,现在
的
问题是,
在
2分钟
后
,使用者偏移量将从主
题中
删除,或者仍将以压
浏览 2
提问于2021-04-14
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
可探:淘宝搜索排名低怎么办?如何提高排名?
你可能用错了kafka的重试机制
怎样让消费者将商品收藏加购?
杜绝垃圾软件,维护合法权益
Kafka之文件消费者应用案例
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券