手动重置kafka偏移量时，Flink偏移量进入不一致状态

文章/答案/技术大牛

发布

1回答

apache-kafka、flink-streaming

我们有一个flink流应用程序，从卡夫卡读取消息。由于某些原因，我们不得不从kafka重置命令将kafka偏移重置为最新，因为有大量堆积。我们希望flink应用程序跳过所有这些消息，并从重置后出现的新消息开始。问题是因为flink在内部管理它的偏移量，它不知道这个重置，它现在只从后向读取msg (重置前的偏移点)，现在也不能提交偏移量。因此，每次重启flink应用

浏览 62提问于2021-06-19得票数 4

回答已采纳

2回答

Flink和SparkStreaming中检查点机制的不同

spark-streaming、apache-flink、kafka-consumer-api

使用来自Kafka主题的数据，Flink和SparkStreaming都提供了检查点机制，前提是auto.commit.enabled设置为false。火花博士说：在启用了Flink的检查点之后，Flink Kafka消费者将使用来自某个主题的记录，并定期检查其所有Kafka偏移量，以及其他操作的状态，以一致的方式。如果作业失败，Flink将恢复流程序到最新检查点

浏览 6提问于2017-12-12得票数 1

1回答

我们如何手动重置通过spring boot java应用程序使用的kafka主题的偏移量？

java、spring-boot、apache-kafka、kafka-consumer-api

我的要求是，当应用程序无法处理从通过spring boot java应用程序使用的kafka主题的当前偏移量读取的消息时，重置kafka主题的偏移量。在手动重置偏移量或发送否定确认之后，需要通过spring boot java应用程序的kafka消费者再次从不合适的偏移量值轮询消息。它能实现吗？

浏览 3提问于2019-01-09得票数 1

1回答

Flink+Kafka重置检查点和偏移量

apache-kafka、kafka-consumer-api、apache-flink、flink-streaming

简而言之，我想从一开始就对Kafka 中的数据重新运行Flink管道。然后，我假设问题可能与Flink的检查点有关，但我不知道/无法找到关于如何

浏览 0提问于2016-02-20得票数 3

1回答

flink检查点如何帮助故障恢复

apache-flink、flink-streaming

以下是我的假设：以下是基于上述假设的我的疑虑： 1)上述假设是正确的。2)翻滚窗口是否有意义，因为在失

浏览 0提问于2020-03-12得票数 0

1回答

我遇到的问题是，在重新启动Kafka和Flink作业时，FlinkKafkaConsumer偏移被重置为0，因此数据被重新处理，即使我启用了检查点，并且在Flink作业中启用了一次语义。这是我的环境细节在KubernetesKafka源主题下运行的有10个分区，没有replication.Kafka，有3个代理。启用Flink检查点时，semantics.Flink版本为1.12Flink通过负载平衡器连接到sem

浏览 6提问于2022-01-25得票数 0

2回答

正确地将Flink状态发送给Kafka

apache-kafka、apache-flink、flink-streaming、checkpointing

我正在构建一个卡夫卡-> Flink ->卡夫卡管道，它可以处理划定的“会话”数据。像这样的每个会话大约有100个事件，很快就会出现(每1-2秒)，所有事件共享相同的session_key，我正在将会话转换成一系列大约20个事件，这些事件进入输出主题。Kafka主题。如果卡夫卡偏移量已经被提交，并且没有任何end_event将它从卡夫卡中为该session_key，我如何触发处理运算符为我保存的状态以后？或者卡夫卡偏移不会在这种情况下提交，end_event将再次通过Flink</em

浏览 7提问于2022-01-30得票数 0

回答已采纳

1回答

如果我已经将自动提交设置为true，那么行为是什么？

apache-flink

我在读书启用检查点:如果启用了检查点，则Flink消费者将在检查点完成时提交存储在检查点状态中的偏移量。这确保了Kafka代理中提交的偏移量与检查点状态中的偏移量一致。如果我在10秒间隔内启用检查点，也可以将have setCommitOffsetsOnCheckpoints设置为true，并在Kafka使用者属性中设置enable.auto.commit=true和偏移量是否每10秒提交3次？一次从<

浏览 0提问于2021-06-25得票数 0

回答已采纳

1回答

如何为消费者设置卡夫卡补偿？

apache-kafka、apache-flink

假设我的主题中已经有10个数据，现在我开始编写Flink，消费者将使用第11个数据。 }和pom.xml： <groupId>org.apache.<em

浏览 1提问于2018-10-31得票数 2

回答已采纳

1回答

Apache流应用程序不会从检查点开始停止并启动

apache-flink、flink-streaming、flink-sql、flink-checkpoint

下面的Flink流应用程序在本地运行，使用SQL编写： val targetPath = f"file://${new java.io.File(".").getCanonicalPath}/kafka-to-fs-csvBIGINT METADATA FROM

浏览 5提问于2022-03-14得票数 0

回答已采纳

1回答

无法在Flink新Kafka消费者api的检查点上向Kafka提交消费抵消(1.14)

apache-flink、flink-streaming

我是指Flink 1.14版本的Kafka源代码连接器下面的代码。我期待以下要求。在应用程序非常新的开始时，必须从检查点上卡夫卡主题的最新偏移量中读取，它必须在重启后(当应用程序手动/系统错误终止时)将所消耗的偏移量提交给Kafka ，它必须从上次提交的偏移量中选择，并且必须使用消费者延迟当您在2s/3s内手动关闭应用程序并重新启动时。由于上次使用的消息未提交，因此将读取两次(

浏览 10提问于2021-12-16得票数 2

3回答

不清楚卡夫卡中auto.offset.reset和enable.auto.commit的含义

apache-kafka、kafka-consumer-api

我刚接触Kafka，我并不真正理解Kafka配置的含义，有没有人能给我解释一下更容易理解！

浏览 0提问于2017-07-05得票数 21

1回答

打印kstream内容而不增加偏移量

java、apache-kafka、apache-kafka-streams

我目前正在kafka streams上执行我的第一步，我很难理解kafka应用程序是如何存储其状态的。raw_planning_stream } 当我第一次开始处理时，主题的内容被打印出来，如果我再次启动它，它不再打印任何东西，因为偏移量已经更新。(注意:我设法在我的组上使用了-- reset -offsets -- to

浏览 25提问于2021-08-03得票数 0

回答已采纳

1回答

Kafka Avro序列化程序，忽略序列化异常

apache-kafka、kafka-consumer-api、avro

我使用的是kafka-avro-serializer-6.0.0.jar。当我遇到反序列化事件的异常时，我的使用者会停止并且不会移动到下一个事件。示例：有没有办法让我忽略这些异常并移动消费者的<e

浏览 0提问于2020-11-29得票数 0

5回答

来自Kafka的Spark流有错误numRecords不能为负

apache-spark、apache-kafka、spark-streaming、mesos

这是一种奇怪的错误，因为我仍然将数据推送到kafka，并使用来自kafka的消息，而Exception in thread "main" java.lang.IllegalArgumentExceptionunder-replicated-partitions: 0 is-active-controller: 0 然后，我运行spark-streaming作业，从kafkakafkacat -b test-master:31001,test-mast

浏览 0提问于2016-01-25得票数 11

1回答

Coucbase到Kafka源连接器

apache-kafka、couchbase、apache-kafka-connect

我已经使用kafka源连接器将文档从Couchbase获取到kafka。然后将这些文档复制到Mongo DB。Couchbase --> Source Connector --> Kafka --> Sink Connector -> Mongo 如果源连接器关闭，那么如何再次将所有文档同步到Kafka？有没有get和touch功能可以将kafka主题在停机期间所做的所有更改通知给用户？

浏览 20提问于2019-10-17得票数 0

1回答

再处理/再读卡夫卡记录/信息-消费者集团抵消重置的目的是什么？

apache-kafka、kafka-consumer-api

我的kafka主题共有10条记录/消息和2个分区，每个分区有5条消息。我的使用者组有2个消费者，每个使用者已经分别从他们分配的分区中读取了5条消息。现在，我希望从开始/开始重新处理/读取来自我的主题的消息(偏移量0)。./kafka-consumer-groups.sh --group cg1 --reset-offsets --to-offset 0 --topic t1 --ex

浏览 3提问于2019-06-27得票数 4

1回答

Kafka连接-完全拆卸连接器

apache-kafka、apache-kafka-connect

第二部分是--是否有办法让kafka-connect容器在关闭时自动删除他创建的所有连接器？谢谢

浏览 7提问于2022-11-17得票数 1

1回答

如果Flink作业在两个检查点之间重新启动，会发生什么情况？

apache-flink、flink-streaming

Job1使用来自Kafka的记录，对它们进行处理，并再次将它们生成第二个Kafka主题。请解释它将如何防止重新处理(即复制记录到Kafka)。根据Flink文档，flink从上一个成功的检查点重新启动作业。还是Flink (& aerospike)中的其他东西阻止了job2中的这种重新处理？

浏览 0提问于2021-03-08得票数 0

1回答

InvalidStateStoreException:州立商店在卡夫卡流中不开放

apache-kafka、apache-kafka-streams

at org.apache.kafka.clients.consumer.internals.Fetcher.fetchedRecords(Fetcher.java:491) ~[kafka-clientsat org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:1200) ~[kafka-clients-2.2.1at org.apache.kafka.clients.consumer.KafkaConsumer

浏览 0提问于2019-07-25得票数 2

回答已采纳

点击加载更多