Apache Kafka - Autocommit = false且不提交 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

Apache Kafka - Autocommit = false且不提交

apache-kafka、kafka-consumer-api

我的生产者用键0,1,2,3,4,5,6,7,8,9写了10条消息import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache

浏览 9提问于2018-02-15得票数 4

2回答

使用kafka-节点与使用者组手动提交消息

node.js、apache-kafka、kafka-consumer-api

在我的使用者组中，我想在所有任务完成后手动提交消息(比如将消息推入数据库)。如何禁用自动提交和手动提交消息。

浏览 7提问于2017-05-09得票数 2

回答已采纳

1回答

Spring @StreamListener不提供确认头，甚至自动提交设置为false。

spring-boot、apache-kafka、spring-cloud、spring-cloud-stream、spring-kafka

目前，我被困在一个手动管理Kafka偏移量和提交的简单示例中。我有一个使用Streams的应用程序，它设置了enable.auto.commit = false (在打印ConsumerValues时在启动日志中看到)，但是当我解析消息时，它仍然没有提供一个确认头=GenericMessage [payload=byte[38], headers={kafka_offset=9, kafka_consumer=org.apache.kafka.clients.consu

浏览 2提问于2018-05-22得票数 1

回答已采纳

1回答

在autoCommit=false中使用HighlevelConsumer时提交顺序错误

node.js、apache-kafka、autocommit

HighlevelConsumer配置为autoCommit=false，因为我只想在成功生成消息时提交消息。问题是，第一条信息从来没有真正地被朗诵过。如果我重新启动我的使用者，所有从1到10的消息都会再次被处理。只有当我向使用者发送新消息时，旧消息才会被提交。任何数量的消息都会发生这种情况。topic: 'myt

浏览 2提问于2016-10-20得票数 1

1回答

如何使用Camel-kafka提交消费者偏移量？

java、apache-camel

我正在使用apache camel集成我的kafka消息。此外，我还使用JAVA DSL来使用来自kafka端点的消息。使用apache kafka API，它知道如何提交具有给定属性切换的消费者偏移量。kafka.co

浏览 9提问于2015-09-21得票数 5

2回答

Spring3.1: jdbcTemplate自动提交为false。

transactions、jdbctemplate、autocommit

Hi是他们在spring中设置自动提交为false的一种方法。所以而不是插入->提交->回滚。我要插入->失败->(不提交)。

浏览 3提问于2012-05-24得票数 3

1回答

nodejs- kafka-节点模块-从每个分区获取相同的msg

node.js、apache-kafka、apache-zookeeper

我正在使用节点模块“kafka-节点”创建一个kafa消费者：var}, partition: 1 }var options = { groupId: GROUP_ID, fromOffset

浏览 1提问于2016-06-14得票数 0

回答已采纳

1回答

Kafka-Node:提交前一条消息后如何同步消费消息

node.js、apache-kafka

Kafka消费者一次收到大量消息，我需要在提交第一条消息后才能陆续收到。我尝试了autoCommit:false，并尝试在接收数据时也使用pause()和resume()。但是，它仍然不起作用。

浏览 8提问于2018-08-04得票数 0

1回答

kafka streams应用程序-重启时忽略旧消息

apache-kafka、apache-kafka-streams

我只想处理流应用程序启动后收到的数据，而不是之前提交的偏移量。重启后忽略kafka流app旧记录的正确方式是什么？对于kafka consumer API，我通常使用seekToEnd()方法来跳转到最新的记录。是否有用于流的等效机制？我希望避免过滤自上次提交以来的所有消息，以忽略旧消息。

浏览 3提问于2017-11-15得票数 2

2回答

kafka-node不能实时接收消息

node.js、apache-kafka、apache-zookeeper

kafka = require('kafka-node'), consumer = new kafka.Consumer[{'topic': 'test', partition: 0}], {autoCommitclose: [Function

浏览 0提问于2016-01-27得票数 0

1回答

maxWarmingSearchers索引- useColdSearcher帮助错误“Solr exceeded”是否为真？

solr、out-of-memory、cfindex

大型文档集(35K文档)的maxWarmingSearchers；将cfindex设置为true以避免“cfindex已超出”错误是否有好处？从CF Admin运行索引重建将结束，没有错误解释。清除和更新整个目录是错误的:超出了maxWarmingSearchers。我编写了一个例程来获取所有文件并逐个添加它们，并动态地增加延迟，让Solr在索引变大时完成每个文档<cfdirectory action="list" directory="#dir#files" name="qFiles"

浏览 1提问于2013-09-18得票数 0

2回答

如何在成功使用KafkaJS时提交单个消息

apache-kafka、kafkajs

我正试图找到一种类似于node-rdkafka在成功时提交单个消息所做的解决方案。在node-rdkafka中，我能够在消息处理成功后调用consumer.commit(message);。到目前为止，我一直试图在consumer.commitOffsets(...)处理程序中调用eachMessage，但似乎没有提交。我有这样的代码： c

浏览 16提问于2022-04-14得票数 1

3回答

卡夫卡消费群:只读新信息

node.js、apache-kafka

我正在使用kafka-node ConsumerGroup来阅读卡夫卡的信息。我想从主题中读取新消息，即不是所有以前未使用的消息，而是在创建ConsumerGroup之后到达的消息。我还尝试手动将偏移量设置为-1，如下所示：offset.commit(groupId, [{ topic: topicKafka版本: 0.10.0 kafka-节点: 1.6.2

浏览 2提问于2017-08-25得票数 3

回答已采纳

1回答

如何使用kafka-node控制消费的kafka消息的提交

node.js、apache-kafka、kafka-consumer-api

我第一次在kafka中使用Node，使用的是kafka-node。消费消息需要调用外部API，这甚至可能需要一秒钟的响应时间。我考虑在options中设置autoCommit: false，并仅在消息的工作完成后才提交消息(就像我之前对一些Java代码所做的那样)。我的另一个担心是，由于回调，下一条消息似乎在前一条消息完成之前就被读取了。： host:

浏览 0提问于2016-10-18得票数 4

2回答

如何使用NodeJs消费Kafka的最新消息？

node.js、apache-kafka、kafka-consumer-api、kafka-node

此数据库插入是通过使用Kafka完成的。卡夫卡-节点是我曾经称之为卡夫卡的插件。"kafka-node": "^5.0.0",var kafka = require('kafka-node'); client = new kafka.KafkaClient(),

浏览 28提问于2022-01-03得票数 0

1回答

solr autoSoftCommit将打开新的搜索器？

java、search、solr、lucene、full-text-search

这是我的solrconfig.xml部分： <maxTime>15000</maxTime> </autoCommit> <maxTime>1000</maxTime> </autoSoftCommit&g

浏览 0提问于2013-06-17得票数 2

回答已采纳

1回答

yaml文件中的Spring引导加载属性文件

java、spring-boot

这是我的application.yml kafka: properties: kafka-producer-${application.environment，.properties# Apache Kafka Consumer Propertiesbootstrap.servers=XXXX:9092enable.auto.commit=true auto.commit.interv

浏览 0提问于2017-05-04得票数 0

回答已采纳

1回答