腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2252)
视频
沙龙
1
回答
Java
Spring
启动
kafka
从
带有
偏移量
的
主
题中
删除
消息
java
、
spring-boot
、
apache-kafka
我正在尝试创建一个
spring
boot应用程序(
Java
),它必须能够通过给出
偏移量
和分区来
删除
kafka
主
题中
的
消息
。我一直在研究可以做到这一点
的
java
或
spring
boot包类,但我只发现了这样
的
东西:Delete Messages from a Topic in Apache
Kafka
有一个
java
kafka
客户
浏览 36
提问于2020-09-08
得票数 0
回答已采纳
1
回答
Spring
Kafka
消费已被消费者消费
的
旧
消息
spring-boot
、
apache-kafka
、
kafka-consumer-api
、
spring-kafka
我有一个
Spring
启动
应用程序,使用
的
是
Spring
Kafka
。我们已经创建了一个消费者,它使用来自4个主题
的
消息
。这些主题没有任何分区。我在这里面临
的
问题是rendom行为,在三个主
题中
,在任何一个主
题中
,offset stop和我
的
消费者一次又一次地消费来自该主题
的
相同
消息
,直到我们需要手动将
偏移量
移动到latest.below,这就是我
浏览 17
提问于2020-04-27
得票数 1
1
回答
kafka
崩溃后,
偏移量
丢失
java
、
apache-kafka
、
kafka-consumer-api
、
apache-kafka-streams
、
spring-kafka
我们
的
kafka
系统崩溃是因为没有可用
的
磁盘空间。使用者是使用
Kafka
Streams API
的
Spring
引导应用程序。现在,每个消费者应用程序都显示以下错误:该异常恰好发生在
kafka
服务器重启之后。如果我们重新
启动
应用程序,服务将在
偏移量
0处
启动
,以重放消费主
题中
的
所有
消息
。这是致命<em
浏览 30
提问于2018-12-18
得票数 3
1
回答
我们如何手动重置通过
spring
boot
java
应用程序使用
的
kafka
主题
的
偏移量
?
java
、
spring-boot
、
apache-kafka
、
kafka-consumer-api
我
的
要求是,当应用程序无法处理
从
通过
spring
boot
java
应用程序使用
的
kafka
主题的当前
偏移量
读取
的
消息
时,重置
kafka
主题
的
偏移量
。在手动重置
偏移量
或发送否定确认之后,需要通过
spring
boot
java
应用程序
的
kafka
消费者再次从不合适
的
偏
浏览 3
提问于2019-01-09
得票数 1
1
回答
如果我
的
服务消耗了卡夫卡
的
信息,卡夫卡会以某种方式失去我
的
补偿吗?
apache-kafka
、
spring-kafka
如果我有一个作为
消息
使用者连接到
kafka
的
服务,而我读取
的
每一条
消息
都会发送到该
消息
偏移量
,那么如果我
的
服务关闭并重新
启动
,它将从上次读取
消息
开始读取。我
的
理解是,卡夫卡将保持承诺
的
抵消。现在我
的
问题是,我是否需要担心抵消?
kafka
是否会以某种方式丢失这些信息,当服务重新
启动
时,会根据我最初
的
偏移量
浏览 2
提问于2022-02-23
得票数 0
回答已采纳
3
回答
如何阅读
Kafka
主
题中
的
所有记录
apache-kafka
、
kafka-consumer-api
、
spring-kafka
我在客户端使用
kafka
:
kafka
_2.12-2.1.0,
spring
kafka
,遇到了一个问题。 我需要通过读取
kafka
主
题中
的
所有现有
消息
来加载内存中
的
映射。为此,我
启动
了一个新
的
消费者(具有唯一
的
消费者组id,并将
偏移量
设置为earliest)。然后,我遍历消费者(poll方法)以获取所有
消息
,并在消费者记录为空时停止。但我注意到
浏览 1
提问于2019-02-11
得票数 3
1
回答
spring
-cloud-stream-
kafka
应用
启动
后只消费最新
消息
spring-integration
、
spring-cloud-stream
、
spring-kafka
在我们
的
项目中,我们使用
spring
-cloud-stream-binder-
kafka
版本1.1.2与
kafka
集成。最近,我们遇到了这样一种情况:我们
的
一个服务在
启动
后使用了某个主
题中
的
旧
消息
(已经使用过)。该主题有2个分区和2个消费者分组在一个消费者组下。我们不确定
偏移量
是否正确提交给zookeeper。在
启动
期间,每条
消息
都会抛出下面的错误
消息
。state
浏览 14
提问于2017-06-28
得票数 0
1
回答
如何在
Kafka
中用键标记
删除
消息
?
apache-kafka
我需要将键指定
的
消息
标记为
删除
,但我知道
的
唯一
删除
消息
的
脚本是
kafka
-delete-records.sh。但是,它与
偏移量
一起工作,并
删除
偏移量
之前
的
所有
消息
,这不适合我。是否可以
从
主
题中
只
删除
具有指定
偏移量
或键
的
消息
?
浏览 0
提问于2019-02-15
得票数 1
3
回答
PySpark和
Kafka
“集合”消失了,一些数据可能被遗漏了。
pyspark
、
apache-kafka
、
spark-structured-streaming
、
spark-streaming-kafka
我使用星火集群在本地模式下运行PySpark,并且我试图编写一个流DataFrame到一个
Kafka
主题。当我运行查询时,会收到以下
消息
: data was agedout by
Kafka
or the to
浏览 7
提问于2020-11-20
得票数 4
回答已采纳
1
回答
如何在
Kafka
中将确认设置为false
java
、
apache-kafka
我希望
消息
在
Kafka
中通过将确认设置为false来消费时,不要从topic中
删除
。我该怎么做呢?
浏览 0
提问于2018-05-07
得票数 1
1
回答
从
kafka
主
题中
删除
单个记录
apache-kafka
有没有办法
从
kafka
主
题中
删除
一条记录?我知道有脚本
kafka
- delete -records.sh可以
删除
指定主题和分区上指定
偏移量
之前
的
记录,但我希望能够
删除
指定
偏移量
上
的
记录。这不是在
Java
上,而是在
kafka
的
裸实例上。
浏览 9
提问于2020-02-13
得票数 1
回答已采纳
1
回答
kafka
-connect- elasticsearch :如何将elasticsearch与消费群同步?
elasticsearch
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我想查询
Kafka
主
题中
的
消息
,但不是所有
消息
,不是从头开始。我只需要查看哪些
消息
尚未根据消费者组提交。所以,基本上我想要
的
是
删除
偏移量
低于消费者组
偏移量
的
单据。在这一点上,如果我使用elastic-connector,有没有办法或变通办法在
消息
被使用和提交后
从
弹性索引中
删除
文档? 或者,我应该使用
Kafka
Streams以及
浏览 2
提问于2021-05-08
得票数 0
1
回答
火花结构化流确认
消息
scala
、
apache-spark
、
apache-kafka
、
spark-structured-streaming
我使用
从
卡夫卡主题(例如topic1)中读取,并使用接收器写入另一个主题(主题1-结果)。我可以看到,在使用Sink编写到另一个主题之后,这些
消息
并没有
从
Topic1中
删除
。// Subscribe to 1 topic .readStream .option("
kafka
.bootstrap.serversval ds = df .selectExpr(&q
浏览 2
提问于2020-02-11
得票数 0
回答已采纳
3
回答
如何使用卡夫卡主
题中
的
一个又一个信息
spring-boot
、
apache-kafka
、
spring-cloud
、
spring-cloud-stream
--replication-factor 1 application: cloud:
kafka
:和
Java
示例代码 @StreamListener(FileBindingProcessor.INPUT_F
浏览 0
提问于2019-01-30
得票数 1
回答已采纳
1
回答
如何用火花结构流管理卡夫卡
的
偏移量
scala
、
spark-structured-streaming
我有一个火花结构化
的
流媒体工作,它需要读取
kafka
主
题中
的
数据并进行一些聚合。作业需要每天重新
启动
,但是当它重新
启动
时,如果我设置了startingOffsets="latest",就会丢失在重新
启动
之间
的
数据。我使用
的
是Spark2.4.0和
kafka
2.1.1,我尝试为编写作业设置检查点位置,但似乎Spark没有检查卡夫卡
消息
的
偏移量
,
浏览 1
提问于2019-05-15
得票数 1
回答已采纳
1
回答
如何通过消费
kafka
主题
消息
而不是Rest API来创建命令
axon
我使用
的
是Axon版本(3.3),它在SpringBoot
主
类中使用在我们
的
用例中,命令端微服务需要从
kafka
主
题中
挑选
消息
,而不是将其公开为Rest api。它会将事件存储在事件存储中,然后将其移动到另一个
kafka
主题,供查询端微服务消费。 由于KafkaAutoCOnfiguration被禁用,我不能使用
spring
-
浏览 18
提问于2019-07-12
得票数 0
3
回答
是什么决定了卡夫卡消费者
的
抵消?
java
、
apache-kafka
、
kafka-consumer-api
、
distributed-computing
我是卡夫卡
的
新手。我做了一些试验,但有几件事我不清楚关于消费者
的
抵消。据我所理解,当消费者
启动
时,它将开始读取
的
偏移量
由配置设置auto.offset.reset决定(如果我错了,请纠正我)。例如,假设主
题中
有10条
消息
(
偏移量
为0到9),而一个消费者碰巧在崩溃之前(或者在我杀死消费者之前)使用了其中
的
5条
消息
。然后说我重新
启动
了消费过程。我
的
问题是: 如果auto.offse
浏览 0
提问于2015-09-04
得票数 252
回答已采纳
1
回答
读取Apache
Kafka
中
的
消息
偏移量
java
、
offset
、
apache-kafka
、
consumer
我对
Kafka
非常陌生,我们使用
的
是
Kafka
0.8.1。 我需要做
的
是
从
topic消费一条
消息
。为此,我必须用
Java
编写一个使用者,它将使用topic中
的
消息
,然后将该
消息
保存到数据库中。保存
消息
后,将向
Java
使用者发送一些确认
消息
。如果确认为true,则应从主
题中
使用下一条
消息
。如果acknowldgement为fal
浏览 2
提问于2014-07-31
得票数 3
回答已采纳
1
回答
阅读来自
kafka
- segmentio/
kafka
-go
的
最新
消息
go
、
apache-kafka
、
segment-io
我正在使用segmentio/
kafka
-go客户端来读取主
题中
的
消息
。我找不到..如何从上一条/新
消息
开始阅读。 每次
启动
代码时,它都会
从
该分区中
的
起始
偏移量
开始读取。
浏览 8
提问于2019-11-24
得票数 2
1
回答
我可以在没有信令表
的
情况下
启动
一个特别的Debezium快照吗?
apache-kafka
、
apache-kafka-connect
、
debezium
我正在运行到PostgreSQL
的
Debezium连接器。我使用
的
snapshot.mode是initial,因为我不想仅仅因为连接器已经重新
启动
就重新定位。然而,在开发过程中,我想重新
启动
这个过程,因为这些
消息
在阅读之前就已经
从
Kafka
过期了。如果我通过
Kafka
删除
和重新创建连接器,这不会起任何作用,因为
偏移量
/status/config主
题中
的
信息将被保
浏览 8
提问于2022-10-21
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
SpringBoot整合Kafka
Kafka消息队列学习进阶(四)-优化(配置/代码/集群
Kafka的简单介绍
Spring Cloud Stream简单入门
SparkStreaming&Kafka——Direct方式
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券