腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kafka
是
删除
记录
还是
只
移动
偏移量
?
apache-kafka
我仔细阅读了
Kafka
中使用
kafka
-delete-records.sh
删除
记录
的可能性,我还阅读了以下链接: Confluent Blog KIP 107 KIP 204 尽管如此,我不清楚
Kafka
做的是不是简单地
移动
可用的最低
偏移量
(通过low_watermark),以便消费者可以从那里阅读,但将“
删除
”的
记录
保留在
Kafka
中。或者,如果相反,在通知了所有经纪人之后,
记录
的消除最终得到了有
浏览 25
提问于2021-11-19
得票数 0
1
回答
从
kafka
主题中
删除
单个
记录
apache-kafka
有没有办法从
kafka
主题中
删除
一条
记录
?我知道有脚本
kafka
- delete -records.sh可以
删除
指定主题和分区上指定
偏移量
之前的
记录
,但我希望能够
删除
指定
偏移量
上的
记录
。这不是在Java上,而是在
kafka
的裸实例上。
浏览 9
提问于2020-02-13
得票数 1
回答已采纳
1
回答
卡夫卡批量消费时如何实现部分commitSync
java
、
apache-kafka
、
kafka-consumer-api
有时我们会部分插入MYSQL (重复
记录
,其他故障等等)List<ConsumerRecord<String, String>> buffer = new ArrayList<>(buffer); buffer.clear();我们只想commitSync成功的
记录
但是我不明白如何做到这一点,因为api在整个批处理中
只
获得了commitSync()。 想法?
浏览 1
提问于2018-11-26
得票数 2
1
回答
在MANUAL_IMMEDIATE模式下根本不确认
kafka
消息
apache-kafka
、
kafka-consumer-api
、
spring-kafka
我们在我们的一个消费者中遇到了这个问题,并丢失了消息(准确地说,
偏移量
已
移动
,因为我们从未调用过acknowledgement.acknowledge(),所以我们预计
偏移量
不会
移动
),这是预期的行为吗
浏览 241
提问于2020-11-04
得票数 0
3
回答
如何在Spring
Kafka
客户端中查找
偏移量
?
java
、
apache-kafka
、
kafka-consumer-api
、
spring-kafka
当我们准备好时,我们希望消费者将使用
偏移量
。由于文档的原因,我并不能真正理解seekToEnd代表什么。这是否意味着,它将查找到
偏移量
(最后一条ACKed消息),
还是
将查找到主题的最后一条消息(无论
偏移量
如何)并等待新的消息?
浏览 0
提问于2020-02-12
得票数 0
1
回答
如何让火花流(Spark1.0.0)读取
Kafka
的最新数据(
Kafka
Broker 0.8.1)
apache-spark
、
apache-kafka
、
spark-streaming
、
offset
、
kafka-consumer-api
由于我的应用程序不关心过去的数据,所以
只
使用当前(最新)数据
是
完全可以的。但我发现不是。在使用数据之前,我看到所有的偏移都被清理干净了。但是由于数据太多,它
还是
崩溃了。 当我清理
偏移量
并使用最新的使用"
Kaf
浏览 1
提问于2014-08-26
得票数 7
2
回答
卡夫卡主题划分
apache-kafka
、
kafka-consumer-api
卡夫卡主题分隔偏移位置总是从0或随机值开始,如何确保消费者
记录
是
分区中的第一条
记录
?有什么办法能查出来吗?如果有的话请告诉我。谢谢。
浏览 2
提问于2016-06-02
得票数 0
1
回答
Kafka
主题程序化清除
apache-kafka
、
purge
、
kafka-topic
我尝试从Java中清除
Kafka
主题,如下所示,将保留时间设置为1秒,然后返回原始值。但是这些消息并没有从主题中
删除
。怎么啦?
浏览 20
提问于2021-10-25
得票数 0
1
回答
Kafka
ProducerInterceptor可以过滤
记录
吗?
apache-kafka
Kafka
支持拦截器的概念,它位于
Kafka
和消费或产生
记录
的进程之间,这样从
Kafka
读取或写入
Kafka
的
记录
可以被变异,或者可以执行自定义日志
记录
。在我看来,允许过滤
记录
,因为它返回一个对象,并且实现可以在将
记录
传递给消费者之前从容器类中
删除
(即审查)项。
只
接受并返回一个,而不是像Optional<ProducerRecord>那样的东西。如果此方法返回的
记录
为
浏览 2
提问于2019-02-18
得票数 2
1
回答
卡夫卡分区的每个
偏移量
中存储了多少个
记录
?
apache-kafka
我偶然看到卡夫卡的官方声明每个分区都是一个有序的、不可变的
记录
序列,连续地附加到一个结构化的提交日志中。分区中的
记录
被分配给一个名为
偏移量
的顺序id号,它唯一地标识分区内的每个
记录
。因此,假设我们有一个名为“empre声”的
kafka
主题,假设它现在只有一个分区,在这个分区中,假设从0到9有10个
偏移量
。每个偏移有能力
只
存储一个
记录
吗?或 每个
偏
浏览 0
提问于2017-02-05
得票数 0
回答已采纳
1
回答
使用
偏移量
检索数据
apache-kafka
当我将数据写入卡夫卡制片时,我能得到唱片的
偏移量
吗? 如果可以,请分享你的例子。
浏览 2
提问于2018-03-20
得票数 0
回答已采纳
1
回答
HdfsSink3Connector可以创建副本吗?
apache-kafka
、
hdfs
、
apache-kafka-connect
、
confluent-platform
它是否
删除
了失败任务线程创建的文件?
还是
在HDFS中留下损坏的/部分文件? 请帮我处理这个。
浏览 3
提问于2021-07-03
得票数 0
1
回答
消费者什么时候提交
偏移量
?
apache-kafka
、
kafka-consumer-api
、
spring-kafka
我使用的
是
spring-
kafka
-2.2.7-RELEASE。我正在使用@KafkaListener创建我的消费者。现在我的问题
是
-消费者
是
对每条
记录
的提交
偏移量
,
还是
通过它在10秒内消耗的
记录
数来提交和提前
偏移量
?
浏览 7
提问于2019-11-08
得票数 0
回答已采纳
2
回答
Spark Structured Streaming NOT process
Kafka
offset过期
apache-spark
、
apache-kafka
、
spark-structured-streaming
我们有
Kafka
主题,过期6小时。如果延迟增加,并且一些
偏移量
开始过期,则Spark无法找到
偏移量
,并在警告后开始
记录
。从表面上看,Spark job似乎正在运行,但它没有处理任何数据。我们希望系统不会在找不到
偏移量
时停止处理。除了下面提到的警告之外,我没有在日志中看到任何错误。The current available offset range is AvailableOffsetRange(34066048,34444327).at org.apac
浏览 1
提问于2020-05-18
得票数 1
1
回答
如何在
Kafka
中用键标记
删除
消息?
apache-kafka
我需要将键指定的消息标记为
删除
,但我知道的唯一
删除
消息的脚本是
kafka
-delete-records.sh。但是,它与
偏移量
一起工作,并
删除
偏移量
之前的所有消息,这不适合我。是否可以从主题中
只
删除
具有指定
偏移量
或键的消息?
浏览 0
提问于2019-02-15
得票数 1
1
回答
如何手动提交未
记录
偏移量
已通过CommonErrorHandler发送DLT
spring-kafka
如果服务层出现异常,在尝试重试并将其加载到死信队列后,我希望提交原始
偏移量
。为了向您展示我的代码,如下所示。此时,当RuntimeException发生在上面的服务层时,DLT
是
根据
Kafka
设置通过CommonErrorhandler发出的。 然而,在发布DLT之后,原来的消息仍然保存在
Kafka
中,因此需要一个解决方案。我查找了它,发现我编写的设置
是
通过SeekUtils.seekOrRecover
浏览 14
提问于2022-05-31
得票数 1
回答已采纳
1
回答
当我从
kafka
的多个分区轮询
记录
并在一个分区上提交一条
记录
时,其余的
记录
都会丢失
apache-kafka
、
kafka-consumer-api
我轮询来自多个分区的
记录
,并且
只
提交一个
记录
,然后其余的
记录
似乎也被提交了,因为我不能再次轮询它们。并且我已经将auto.commit设置为false,但找不到原因。,因为我没有跳出outter循环,但我的日志显示(我已经用代码打印出了
记录
信息)奇怪的事情,比如:09:37:38.786主信息org.test.
kafka</e
浏览 15
提问于2019-08-08
得票数 1
2
回答
当使用
Kafka
High Level ConsumerConnector时,
偏移量
将保存在哪里?
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
、
apache-kafka-connect
新文档建议,默认情况下,使用High Level API时,
Kafka
本身会负责
偏移量
管理。_consumerConnector = Consumer.createJavaConsumerConnector(consumerConfig); 在这种情况下,管理offset的仍然
是
zookeeper
浏览 3
提问于2016-10-13
得票数 0
1
回答
在SinkTask中完成"put“后,使用
Kafka
如何”提交偏移“
apache-kafka
、
offset
、
flush
、
apache-kafka-connect
我使用
Kafka
从
Kafka
Broker (v0.10.2)获得消息,然后将其同步到下游服务。如何做到这一点,如果不是通过SinkTask#preCommit
浏览 2
提问于2017-07-19
得票数 9
2
回答
如何从read_committed
Kafka
消费者获取上次承诺的
偏移量
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
根据文档,seek和seekToEnd方法给出了LSO (最后一个稳定
偏移量
)。但这有点令人困惑。因为它总是给我相同的值,主题的结尾。无论最后一个条目
是
(由生产者)提交的
还是
已中止事务的一部分。例如,在我中止最后5次尝试插入20_000消息后,消费者不应该读取最后的100_000
记录
。但在消息期间,它会
移动
到主题的末尾(包括100_000 seekToEnd )。我正在寻找一种方法来检索上次提交的
偏移量
(因此生产者最后成功提交的消息)。似乎没有合适的API方法来解决这个问题。那么,我是否
浏览 3
提问于2018-01-23
得票数 6
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
不管和谁聊天,只删除聊天记录是没用的,按下这开关才能彻底删除
不管和谁聊天,微信只删除聊天记录是没用的,教你彻底清空
只删除微信聊天记录是没用的,必须找到开关,才能彻底清除
Kafka 提供哪些日志清理策略?
Kafka的简单介绍
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券