腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1733)
视频
沙龙
1
回答
消费者获取数据返回
OFFSET_OUT_OF_RANGE
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
我有一个包含3个
kafka
代理的集群,其中有一个名为fallback_topic的主题,其中只有一个consumerGroup消费这个主题,并且这个consumerGroup中只有一个消费者
在
注入一些
消息
后
,我可以看到这些
消息
已经发布到
Kafka
。LogSize已被新
消息
移动;但是,消费者
偏移量
保持不变,没有
消息
被消费。 下面是
consumer
.poll(3000)运行时的日志。分区(4、7、10)从生产者接收到新
浏览 189
提问于2020-07-01
得票数 1
回答已采纳
1
回答
Kafka
Consumer
无法
在
偏移量
提交
后
读取
所有
消息
(
error
=
OFFSET_OUT_OF_RANGE
spring-boot
、
apache-kafka
、
kafka-consumer-api
、
spring-kafka
、
kafka-producer-api
我创建了一个消费者来接收批处理的
消息
,ConsumerConfig: allow.auto.create.topics = false metrics.sample.window.ms = 30000 partition.assignment.strategy = [class org.apache.
kafka
.clients.
consumer
.RangeAssignorssl.truststore.p
浏览 64
提问于2020-07-02
得票数 2
回答已采纳
3
回答
如何让
kafka
消费者从上次消费的
偏移量
中
读取
,而不是从开头
读取
apache-kafka
、
kafka-consumer-api
我是
kafka
的新手,正在尝试理解是否有一种方法可以从上次消费的
偏移量
读取
消息
,而不是从开始
读取
。1) I produced 5 messages at 7:00 PM and console
consumer
consumed those.4) Now, i have st
浏览 0
提问于2015-11-13
得票数 15
回答已采纳
1
回答
kafka
抵销管理自动vs手动
apache-kafka
、
kafka-consumer-api
我正在开发一个使用
Kafka
流的spring boot应用程序,
在
我的应用程序中,我希望管理
Kafka
偏移量
,并在仅在成功处理
消息
的情况下
提交
偏移量
。这一点很重要,确保即使
Kafka
重启或zookeeper关闭,我也不会丢失
消息
。我目前的情况是,当我的
Kafka
断断续续时,我的消费者从头开始并使用
所有
之前的
消息
。另外,我需要知道使用autoCommitOffset自动管理
K
浏览 3
提问于2020-01-16
得票数 0
5
回答
Kafka
Consumer
:如何在Python中从最后一条
消息
开始消费
python
、
apache-kafka
、
kafka-consumer-api
、
kafka-python
我使用的是
Kafka
0.8.1和
Kafka
python-0.9.0。
在
我的设置中,我有2个
kafka
代理设置。当我运行我的
kafka
消费者时,我可以看到它从队列中检索
消息
,并跟踪两个代理的
偏移量
。我的问题是,当我重新启动消费者时,它会从头开始使用
消息
。我所期望的是,
在
重启时,消费者将从它死之前停止的地方开始消费
消息
。我确实试着跟踪Redis中的
消息
偏移量
,然后在从队列中
浏览 3
提问于2014-07-10
得票数 8
1
回答
弹簧集成卡夫卡与管理补偿
java
、
spring
、
spring-integration
、
apache-kafka
我正在使用扩展来
读取
和处理Java应用程序中的
Kafka
消息
。据我所知,它使用了高级的使用者API,它不允许完全管理动物园管理员中的
偏移量
。
在
我的例子中,我们有auto.commit.enable=false,以便在
消息
处理
后
将
偏移量
提交
给。如果处理失败,那么将不会
提交
偏移量
,我们应该尝试
在
配置好的时间内再次处理相同的
消息
,从的偏移开始。我发现
kafka<
浏览 1
提问于2014-06-18
得票数 3
1
回答
提取
偏移量
5705超出分区范围,重置
偏移量
。
java
、
spring-boot
、
apache-kafka
、
kafka-consumer-api
、
spring-kafka
在
调试日志和重置到其他实际上不存在的分区时出现了
OFFSET_OUT_OF_RANGE
错误。可以
在
消费控制台中接收的
所有
消息
相同。但实际上,在此之前我只
提交
了
偏移量
,
在
kafka
中有
偏移量
,日志保持策略是24小时,所以
在
kafka
中没有删除。
在
调试日志中,我得到以下
消息
: beginning to consume batch messages ,
浏览 1
提问于2020-07-04
得票数 0
2
回答
春季云流卡夫卡消费者会不会消费服务中断时发送的
消息
?
java
、
spring-boot
、
apache-kafka
、
spring-cloud-stream
spring.cloud.stream.bindings.input.group=sampleconsumergroup消费者服务听取主题模式。场景:使用者服务被关闭,在此期间,一些
消息
被发送到它的主题。当使用
浏览 2
提问于2019-03-06
得票数 1
回答已采纳
1
回答
Logstash输入插件
无法
读取
任何新用户的
消息
,并将auto_offset_reset设置为最早
java
、
apache-kafka
、
logstash
、
kafka-producer-api
我正在使用Logstash输入插件来
读取
来自某个主题的
消息
。尽管这是一个新的消费者,属于一个新的消费群体,并且auto_offset_reset被设置为‘最早’,但我
无法
使用任何
消息
。启用调试日志的行为如下:它清楚地显示使用者没有先前的
偏移量
,并且突然获取分区
偏移量
,使用者使用该
偏移量
并设置其新
偏移量
(请注意:先前从主题
读取
了36387条
消息
,因此在下面的日志中
读取
了编号) 2016new_<em
浏览 6
提问于2016-12-23
得票数 0
回答已采纳
2
回答
如何使用NodeJs消费
Kafka
的最新
消息
?
node.js
、
apache-kafka
、
kafka-consumer-api
、
kafka-node
此数据库插入是通过使用
Kafka
完成的。卡夫卡-节点是我曾经称之为卡夫卡的插件。"
kafka
-node": "^5.0.0",var
kafka
= require('
kafk
浏览 28
提问于2022-01-03
得票数 0
3
回答
Kafka
消费者(0.8.2.2)是否可以批量
读取
消息
java
、
apache-kafka
、
kafka-consumer-api
根据我的理解,
Kafka
消费者顺序地从分配的分区
读取
消息
...我们计划让多个
Kafka
客户(Java)拥有相同的组I'd ..so,如果它按顺序从指定的分区
读取
数据,那么我们如何实现高吞吐量..i.e。例如,Producer每秒发布40条
消息
...消费者进程
消息
1每秒..though我们可以有多个消费者,但不能有40个rt?如果我说错了请纠正我。
在
我们的例子中,消费者只有
在
消息
成功处理
后
才
浏览 0
提问于2016-02-25
得票数 5
1
回答
如何在特定doFun执行结束时
在
Apache梁中手动
提交
Kafka
偏移量
apache-kafka
、
apache-beam
、
kafka-consumer-api
我创建了一个简单的Apache光束流管道,它从
Kafka
读取
数据,进行一些处理,并通过调用一些外部服务的API来持久化结果。我希望确保
在
管道重启或失败期间不会丢失数据,因此我希望
在
特定doFun执行结束时成功调用接口
后
,手动将记录
偏移量
提交
给
Kafka
。
在
我之前的
Kafka
经验中,我知道通过使用
Kafka
Consumer
的below接口,我可以手动将记录
偏移量
<
浏览 10
提问于2021-09-21
得票数 1
回答已采纳
1
回答
当我从
kafka
的多个分区轮询记录并在一个分区上
提交
一条记录时,其余的记录都会丢失
apache-kafka
、
kafka-consumer-api
但是,如果该主题只有一个分区,它将正常工作,我
在
第一次轮询时没有
提交
的记录将再次重新轮询。当有多个分区时,为什么结果会不同?break; } }09:37:38.786主信息org.test.
kafka
.
Consumer</em
浏览 15
提问于2019-08-08
得票数 1
1
回答
使用
kafka
-python消费
kafka
,seek()重置的本地
偏移量
会
提交
给
kafka
吗?
apache-kafka
、
kafka-python
使用
kafka
-python消费
kafka
,seek方法重置的本地
偏移量
会
提交
给
kafka
吗?我正在研究获取双中心机房
Kafka
集群的rpo索引的解决方案。使用
kafka
-python获取
Kafka
集群的最大时间戳,取两个机房的
Kafka
集群的最大时间戳之差。使用seek()将
偏移量
重置为分区的最大
偏移量
-1,然后使用poll()获取最新的
消息
,但该
消息
无
浏览 8
提问于2021-05-20
得票数 0
1
回答
kafka
何时重试处理未确认的
消息
?
spring-boot
、
apache-kafka
、
kafka-consumer-api
、
spring-kafka
ack.acknowledge(); // do not acknoledge the message here in order to retry it later.}
在
条件为"false“的情况下,我们继续到"else”部分,我的消费者什么时候会再次尝试
读取
未确认的
消息
?如果它不再这样做,我如何告诉我的@KafkaListener考虑未确认的
消息
?
浏览 5
提问于2020-09-02
得票数 1
1
回答
kafka
streams应用程序-重启时忽略旧
消息
apache-kafka
、
apache-kafka-streams
我只想处理流应用程序启动
后
收到的数据,而不是之前
提交
的
偏移量
。重启
后
忽略
kafka
流app旧记录的正确方式是什么?对于
kafka
consumer
API,我通常使用seekToEnd()方法来跳转到最新的记录。是否有用于流的等效机制?我希望避免过滤自上次
提交
以来的
所有
消息
,以忽略旧
消息
。
浏览 3
提问于2017-11-15
得票数 2
3
回答
如何使用
kafka
命令行获取给定
kafka
主题下
所有
分区的日志结束
偏移量
?
apache-kafka
当我描述一个
kafka
主题时,它没有显示任何分区的日志结束
偏移量
,而是显示了
所有
其他元数据,如ISR、副本、Leader。运行这个:./
kafka
-topics.sh --zookeeper zk-service:2181 --describe --topic "__
consumer
_offsets“ 输出没有
偏移量
列。注意:只需要日志结束
偏移量
。
浏览 0
提问于2019-05-20
得票数 0
4
回答
Java:当我开始从
kafka
主题
读取
时,如何从当前
偏移量
读取
java
、
apache-kafka
我们如何确保消费者从当前
偏移量
读取
数据?
浏览 0
提问于2016-07-29
得票数 0
2
回答
最新
Kafka
版本的消费群体列表存放在哪里?
apache-kafka
、
apache-zookeeper
、
kafka-consumer-api
显然,
在
早期的
kafka
版本中,某个消费群体的消费者列表存储
在
zookeeper中。对于最新的
kafka
版本,这些信息存储在哪里?
浏览 18
提问于2019-12-21
得票数 2
回答已采纳
2
回答
卡夫卡知道相关信息何时被消耗。
apache-kafka
、
apache-kafka-streams
、
batching
在
卡夫卡,有什么方法可以
在
几个相关信息被消耗
后
产生信息?(无需
在
应用程序代码中手动控制.)用例是选择一个巨大的文件,将其分割成几个块,
在
一个主题中为每个块发布一条
消息
,一旦
所有
这些
消息
被消耗,就会产生另一条
消息
,通知另一个主题的结果。我们可以使用数据库或REDIS来控制状态,但我想知道是否有更高层次的方法仅利用
Kafka
生态系统。
浏览 7
提问于2020-09-11
得票数 6
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
深入Kafka系列(二)consumer开发
Spark Streaming和Kafka集成深入浅出
浅入浅出kafka
加米谷大数据:2入门介绍kafka0.10.x
Kafka使用及Python示例
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券