enable.auto.commit值未配置为true

文章/答案/技术大牛

发布

0回答

apache-kafka、kafka-consumer-api、apache-kafka-streams

根据Kafka文档，消费者配置enable.auto.commit的默认值为true。但我被误认为是假的。在我的Kafka流应用程序中，我尝试将其更改为true as props.put(StreamsConfig.consumerPrefix(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG), true)以自动提交偏移量。但我在日志中收到WARN o.a.k.s.StreamsConfig [main] Unexpected user

浏览 3提问于2017-12-08得票数 3

1回答

管理kafka中的当前偏移

apache-kafka、kafka-consumer-api、offset

我猜消费者默认情况下会将最后读取的偏移量保存在内存中，并在显式调用commitSync或commitAsync时提交，或者按照enable.auto.commit策略提交。

浏览 0提问于2020-02-04得票数 1

1回答

卡夫卡消费者属性-在集装箱属性ACKMODE和enable.auto.commit之间有什么关系吗？

spring-kafka

如果我们将使用者容器属性“ACKMODE”设置为“enable.auto.commit”，将“enable.auto.commit”设置为“真”，并将默认值为5000 ms的auto.commit.interval.ms

浏览 2提问于2019-11-07得票数 0

回答已采纳

2回答

如何在spark结构化流读取流中倒带Kafka偏移量

apache-spark、spark-structured-streaming

我有一个火花结构流作业，它被配置为从Kafka读取数据。请查看代码，带参数查看readStream()，读取Kafka的最新数据。kafkaStreamingDF .format("console")每次我在IntelliJ集成开发环境中重新启动作业时，日志都会显示偏移量被设置为最新

浏览 0提问于2018-05-12得票数 3

1回答

作为消费者，max.poll.interval.ms和max.poll.records是如何在卡夫卡工作的？

apache-kafka、kafka-consumer-api

如果是这样的话，我认为将max.poll.records设置为最低是最好的选择，或者在每次消息处理(设置分区偏移量=偏移量+ 1)之后提交是可行的？

浏览 13提问于2022-11-05得票数 0

回答已采纳

1回答

是否有可能在不使用契点的情况下使用flink中的kafka来实现至少一次语义？

apache-kafka、apache-flink

我想编写一个简单的Flink应用程序，它从Kafka队列中读取，处理消息并将输出存储到外部系统，至少有一次语义，并且不使用检查点。我想避免检查点，因为如果Kafka偏移是检查点，那么所有中间状态也必须是检查点。换句话说，我希望应用程序尽可能无状态。源从kafkaprocessing 读取，输出被存储到外部系统，消息被确认给kafka如果2.或3. 失败，并且应用程序重新启动，相同的消息将再次被处理(很好)，如果2和3成功，4。失败，应用程序重新启动，我们将存储结果两次这一问题的核心似

浏览 5提问于2021-02-04得票数 1

1回答

卡夫卡镜片制造滞后被聚合，然后每60秒它被归零，然后再一次。

apache-kafka、lag、apache-kafka-mirrormaker

我希望消息和延迟被零，比如说每10秒一次，但无法实现，尽管我只玩了一些镜像制造者配置文件。consumer.props：client.id=mirror_maker_consumer exclude.internal.topics=true

浏览 0提问于2020-08-04得票数 1

回答已采纳

1回答

卡夫卡消费者重启后不阅读消息。我正在使用weiboad / kafka-php。

apache-kafka

var_dump($result);$producer->error(function($errorCode) {}); $producer->send(true

浏览 15提问于2020-02-28得票数 0

1回答

如果我已经将自动提交设置为true，那么行为是什么？

apache-flink

用户可以通过调用使用者上的setCommitOffsetsOnCheckpoints(布尔值)方法来选择禁用或启用偏移提交(默认情况下，行为为真)。如果我在10秒间隔内启用检查点，也可以将have setCommitOffsetsOnCheckpoints设置为true，并在Kafka使用者属性中设置enable.auto.commit=true和

浏览 0提问于2021-06-25得票数 0

回答已采纳

1回答

如何使用spring引导实现最多一次交付使用者语义

java、spring、spring-boot、apache-kafka、kafka-consumer-api

我当前的使用者配置是：spring.kafka.consumer.auto-offset-reset=earliest

浏览 0提问于2020-08-17得票数 0

1回答

无法使用云kafka流将autoCommitOffset设置为真

spring-boot、apache-kafka、kafka-consumer-api、apache-kafka-streams、spring-cloud-stream

我正在使用Spring -cloud-starter stream- Kafka - 1.3.3和Spring流与Spring连接到Kafka，其中包含典型的发行者用户用例，在这种情况下，我希望enable.auto.commit我看到这个属性的值为false- enable.auto.commit= false，如下面所示：enable.auto.commit =但是，当我启动服务时，这个值似乎仍然是假的。我尝试在appli

浏览 0提问于2019-04-04得票数 0

回答已采纳

1回答

KafkaIO -当与groupId一起使用时，enable.auto.commit设置为true和commitOffsetsInFinalize的不同行为

apache-beam、apache-beam-kafkaio

我的管道使用FlinkRunner，我描述了我们尝试过的三种不同的情况：Beam为每次运行创建一个新的使用者，从而读取最新的主题偏移量。它读取在使用者启动后产生的消息。案例2:指定组id并将enable.auto.commit设置为真正的波束，从管道停止时开始重新处理消息，并开始读取未提交给给定的的消息。.withConsumerConfigUpdates(ImmutableMap.of("enable.auto.commit", true)

浏览 5提问于2021-05-04得票数 2

3回答

不清楚卡夫卡中auto.offset.reset和enable.auto.commit的含义

apache-kafka、kafka-consumer-api

我刚接触Kafka，我并不真正理解Kafka配置的含义，有没有人能给我解释一下更容易理解！StringDeserializer], "auto.offset.reset" -> "latest", //earliest or latest

浏览 0提问于2017-07-05得票数 21

1回答

如何正确启动和停止ReplyingKafkaTemplate

spring-kafka

我假设，这是因为使用者没有时间提交，因为基本提交时间(属性"auto.commit.interval.ms")在ConsumerConfig类中设置为5秒，并且在收到消息后立即停止。

浏览 6提问于2022-03-29得票数 1

回答已采纳

2回答

AWS MSK默认enable.auto.commit设置

apache-kafka、aws-msk

默认情况下，亚马逊网络服务的Apach Kafka托管流是否将enable.auto.commit设置为true？我没有出现在文档中，我想确保我的消费者正确地提交了偏移量。或者MSK遵循Kafka过程引用的here，如果消费者设置了ConsumerGroup ID，那么MSK会默认自动设置enable.auto.commit = true？

浏览 46提问于2021-09-13得票数 0

回答已采纳

1回答

无法再次接收未提交的Kafka消息

java、spring、apache-kafka

Acknowledgment acknowledgment) { }Kafka配置了以下两个属性：enable.auto.commit = false 因为我没有调用acknowledgment.acknowledge()，所以我希望偏移量不会被提交在这两种情况下，偏移量是不是以相同的方式未提交？

浏览 0提问于2021-06-08得票数 0

1回答

enable.auto.offset.store=false的auto.commit = false的Kafka go-lang工作

go、apache-kafka、confluent-kafka-go

go-lang 1.18与confluent-kafka-go v1.8.2的结合使用enable.auto.commit = false配置。一旦消息成功处理，我们将手动提交偏移量。但是，即使在设置此配置之后，在处理过程中得到错误后，我们也不会看到具有相同键的消息。(这意味着即使在错误场景中，偏移也会被提交)。注意:对于错误场景，需要8-9秒的时间来处理，并将其完全称为错误。

浏览 13提问于2022-05-23得票数 0

2回答

如何在Kafka Sink连接器中手动提交偏移量

apache-kafka、kafka-consumer-api、apache-kafka-connect

我有一个卡夫卡水槽任务，是听卡夫卡主题通过put()方法。从Kafka获取记录之后，如果处理成功，那么我只想提交偏移量，否则它应该再次从相同的偏移量读取。

浏览 2提问于2019-10-22得票数 3

1回答

Mule Anypoint studio Kafka连接器-消费者无法接收消息

mule、kafka-consumer-api、mule-studio、mule-component

Consumer.Properties having below code,auto.offset.reset=earliest在任何点的演播室流程中，Kafka连接器消费者->给定的主题名称为customer_data，分区为1未提供任何偏移量我预计消费者应该在不重新启动应用程序的情况下读取消息，并且不会再次收到较旧的消息

浏览 13提问于2019-08-01得票数 1

1回答