在kafka分区中压缩的偏移量会发生什么情况？

文章/答案/技术大牛

发布

1回答

多连接器一主题分布式Kafka连接

elasticsearch、apache-kafka、apache-kafka-connect

分布式模式下Kafka Connect集群的Offset Management的行为是什么，即运行多个Connector并监听同一组主题(或一个主题)？因此，在分布式模式下，Kafka Connect将偏移量信息存储在Kafka中，该偏移量将被集群中的workers读取并提交。如果在该Kafka Connect集群中有多个Connector在监听

浏览 15提问于2019-07-01得票数 2

1回答

apache-kafka、kafka-consumer-api、kafka-topic、kafka-partition

假设我有一个包含2个对数段的partion-0。第一个数据段在偏移量0、1和2处包含密钥v1、v2和v3。第二个数据段在偏移量3、4和5处包含密钥v3、v4和v1。日志压缩时，会删除第一个段中偏移量为0和2的key。 偏移量0和2会发生什么？它们会变成空的吗？如果是这样，这个空的偏移量会发生什

浏览 12提问于2020-10-07得票数 1

回答已采纳

1回答

KTables如何在创业时与卡夫卡互动？

apache-kafka、apache-kafka-streams

我有点搞不懂这在概念上是如何运作的。 kafka流如何保证由kafka broker分配给它的分区与分配给其他主题的分区匹配？好像需要协调一下吗？而且，卡夫卡流总是从一开始就阅读压缩的主题，还是从最新的偏移量中读取？一旦它从压缩的主题中读取消息，它是否提交偏移量？

浏览 2提问于2020-07-31得票数 0

回答已采纳

2回答

为多个主题创建一个kafka消费者

java、apache-kafka、kafka-consumer-api

我想为几个主题创建一个kafka消费者。consumer的方法构造函数允许我在订阅中传递主题列表的参数，如下所示： Properties props = getConsumerPropsConsumerRecords<String, byte[]> consumerRecords = consumer.poll(duration); } 之后，我想每隔3秒将kafka</e

浏览 0提问于2020-06-22得票数 2

1回答

泉卡夫卡流-无错误的未被确认的消息

apache-kafka、stream、spring-kafka、consumer

我使用@StreamListener来使用Kafka消息。如果我没有确认所使用的消息，也没有抛出任何错误，会发生什么情况？卡夫卡会在某个时候自动发送信息吗？当我抛出错误时，重放就会重新开始，直到我的maxAttempt配置和失败的消息转到

浏览 6提问于2020-02-01得票数 0

回答已采纳

1回答

关于卡夫卡紧凑主题的缺失信息

apache-kafka

我有一个被压缩的主题：Topic:myTopic，最早和最近的偏移量都是12。上所有与Kafka相关的ZNodes，那么Kafka上的物理数据会发生什么不好的事情吗？另外，以下是<

浏览 0提问于2019-05-02得票数 0

回答已采纳

2回答

Kafka主题中的消息计数

apache-kafka、kafka-topic

我正在尝试了解如何使用Kafka跟踪消息摄取。关于自动获取Kafka主题中的消息计数，您有什么建议？理想情况下，我想按分钟的频率命中该主题，并获得计数，以及时间窗口，如1天等。 *我不能使

浏览 16提问于2020-04-21得票数 1

1回答

如何将spark结构化流数据重置为最后一个可用偏移量

apache-spark、apache-kafka、spark-streaming、spark-structured-streaming

我正在使用Kafka运行一个结构化的流应用程序。我发现如果由于某种原因系统停机了几天...检查点变得陈旧，并且在Kafka中找不到与检查点对应的偏移量。我如何让Spark结构化流媒体应用选择最后一个可用的偏移量，并从那里开始。我尝试将偏移量重置设置为较早/最新，但系统崩溃，出现以下错误： org.apache.kafka.clients.consumer.OffsetOutOfRangeE

浏览 3提问于2020-04-19得票数 0

1回答

Spring Kafka* producer默认保证发货吗？*

spring-boot、spring-kafka

我想知道spring boot内部的spring kafka Producer是否保证交付。有人知道如果某个随机监听器无法接收消息会发生什么情况吗？spring kafka是否会重试发送消息？

浏览 0提问于2019-05-29得票数 0

4回答

Apache Kafka:如何接收来自Kafka的最新消息？

scala、apache-spark、apache-kafka、spark-streaming、kafka-consumer-api

我在Scala中使用Spark在Kafka消费者应用程序中消费和处理消息。有时候，处理Kafka消息队列中的消息会比平时多花一点时间。此时，我需要消费最新的消息，忽略生产者已经发布但尚未消费的早期消息。properties = readProperties() val streamConf = new SparkConf().setMaster("local[*]").setAppName("<em

浏览 3提问于2017-08-31得票数 1

3回答

Kafka MirrorMaker的使用者没有从主题中获取所有消息

scala、apache-kafka

我正在尝试设置一个Kafka Mirror机制，但是似乎Kafka MirrorMaker的消费者在Kafka集群中只在镜像生成器进程启动时从新传入的数据中读取主题，即它不读取以前保存在主题中的历史数据我使用Kafka的MirrorMaker类来实现： /bin/kafka-run-class.sh kafka.tools.M

浏览 0提问于2015-10-09得票数 4

6回答

Kafka:如何使用Java从主题中删除记录？

java、apache-kafka

我正在寻找从卡夫卡主题中删除(完全删除)消耗的记录的方法。我知道有几种方法可以做到这一点，例如，通过更改主题的保留时间或删除Kafka-log文件夹。但是，如果可能的话，我要寻找的是一种使用Java为主题删除一定数量的记录的方法。但是如果我没有弄错的话，这种方法只会改变主题中的偏移量，而不是从硬盘中删除这些记录。是否有实际从硬盘中删除记录的Java？

浏览 0提问于2018-07-11得票数 4

回答已采纳

1回答

删除干净的偏移-检查点文件以强制压缩安全吗？

apache-kafka

我需要一种强制压缩__consumer_offsets主题的方法。在一个测试环境中，我尝试删除文件清洁器-偏移-检查点，然后kafka删除了许多段，如下所示。在生产环境中删除此文件安全吗？删除清洁剂之前的-偏移-检查点：-rw-r--r--. 1 root root 0 14 giu 17.20data/

浏览 2提问于2021-06-15得票数 0

回答已采纳

1回答

Kafka -动态/任意分区

asynchronous、apache-kafka、job-scheduling

将此操作并行化的最佳方法是什么？例如，在单个分区上，我可以让使用者读取第一条消息并发出异步请求。它提供了一

浏览 3提问于2015-05-08得票数 1

回答已采纳

2回答

在Kafka中，多个消费者群体是如何在同一主题上跨分区工作的？

apache-kafka、bigdata

我读过和许多这样的博客。当使用多个使用者组id运行多个消费者时，多个消费者可以在单个分区上运行，并且一个消费者组中的一个消费者只能在给定时间从一个分区消费。我的问题与多重消费者有关，来自的多个消费者组消费来自相同的主题他们有相同的</em

浏览 0提问于2017-07-18得票数 12

回答已采纳

2回答

Spark Streaming: Kafka重启后输入速率不正常

apache-kafka、spark-streaming

我目前正在spark上运行一个流媒体应用程序，它使用新的直接方法(没有接收器)消费一个简单的kafka主题。由于我们在Kafka集群上遇到了一些问题，即使在Kafka上恢复正常后，流媒体应用程序也遇到了一些问题:一些作业正在处理几乎空的rdd，而另一些作业正在处理两倍大小的rdd。我在Kafka和Spark两边都没有发现任何堆栈或线索。有人能告诉我如何解决这类问题吗？或者至少到哪里去看一看，以了解

浏览 0提问于2016-05-18得票数 0

1回答

对Kafka* 1.x中的提交和获取消费者偏移量感到困惑*

apache-kafka

我使用了下面的Kafka消费者示例代码：ConsumerRecords<String, byte[]> records = kconsumer.poll(timeoutInMS);我有两个问题： (1)偏移量提交的地方是Kafka还是Zookeer(我知道旧的kafka版本是提交给zookeeper的，但

浏览 4提问于2018-01-12得票数 0

1回答

如何为消费者设置卡夫卡补偿？

apache-kafka、apache-flink

假设我的主题中已经有10个数据，现在我开始编写Flink，消费者将使用第11个数据。任何帮助都是非常感谢的。

浏览 1提问于2018-10-31得票数 2

回答已采纳

1回答

卡夫卡消费者再平衡及其影响

apache-kafka、kafka-consumer-api

对于我的用例，CommitSync是关键的一步，我们应该只在正确提交旧的之后才进行读取。重复处理不是一个大问题，我们的客户端服务已经足够强大了。但数据丢失是一个主要问题，不应该发生。因此，我想更多地了解这里可能发生的负面情况，它们的影响以及如何正确处理它们。1)消费者处理过程中的网络问题:当网络短暂中断并恢复时会发生什么情况？当网络恢复时，<

浏览 2提问于2019-03-18得票数 1

1回答

卡夫卡分区和偏移消失了

apache-kafka、bitnami、google-cloud-platform、google-compute-engine

我的Kafka客户端正在GCP环境中运行，启用了自动缩放功能(GCP将实例计数保持在至少两个，并且由于CPU使用率低，它大多是2个)。在这两个VM中运行的使用者组几个月来一直在使用来自20个分区中的各种主题的消息，最近我注意到旧主题中的分区缩小到只有1 (!)该消费者组的偏移量被重置为0。主题分区目录也从<em

浏览 2提问于2017-12-15得票数 1

点击加载更多

多连接器一主题分布式Kafka连接