我应该在什么情况下使用批处理使用者与单记录使用者

文章/答案/技术大牛

发布

1回答

spring-kafka

据我所知，Apache Kafka文档中没有诸如批处理消费者之类的特殊概念，但spring-kafka可以选择使用以下代码片段创建批处理消费者。consumerFactory()); return factory; } 现在我<

浏览 17提问于2020-10-21得票数 0

回答已采纳

1回答

如何在具有单例模式的ILogger库中使用.NET抽象？

c#、ilogger

我有一个类库，它目前使用NLog作为日志记录用途。我想更新这个库以使用来自Microsoft.Extensions.Logging.Abstractions的ILogger<T>抽象，这样这个库的使用者就可以选择自己的日志框架。库使用带有私有构造函数和实例属性的单例模式：{ .

浏览 2提问于2021-02-09得票数 1

回答已采纳

1回答

DeadLetterPublishingRecoverer是如何处理批处理消费者的？

java、spring-kafka

我试图了解DeadLetterPublishingRecoverer在批处理消费者情况下是如何工作的。我在文档中看到的大多数例子都是单一记录使用者的例子。我不知道是否： DeadLetterPublishingRecoverer将向DLT发布失败的记录，批处理中的其余记录将由使用者

浏览 14提问于2022-01-19得票数 0

回答已采纳

1回答

Kafka:并行有界批处理

java、apache-kafka、batch-processing、spring-cloud-stream

我想使用卡夫卡来执行有界的批处理，程序将知道它何时处理最后一条记录。批处理：然而，这意味着处理将被限制为单线程(<

浏览 0提问于2018-05-08得票数 0

1回答

需要从kafka主题中读取记录，一旦读取了50条记录，就需要调用一个在单个请求中接受50条记录的API

apache-kafka、kafka-consumer-api

我需要从Kafka主题中读取记录，一旦读取了50条记录，就调用一个在单个请求中接受50条记录的API。当应用程序没有任何数据库可供存储时，您有什么建议吗？我能够阅读Kafka主题中的记录，寻找有关如何将记录排入队列直到计数达到50的建议。

浏览 16提问于2020-03-30得票数 0

1回答

我正在使用spring-kafka和消费卡夫卡主题的批量记录，并通过AbstractMessageListenerContainer.AckMode.BATCH提交偏移量。在我的例子中，处理批处理记录需要时间(大约20秒)，使用者线程等待批处理过程完成，然后再次执行轮询(在此轮询时提交偏移量)。在本例中，我将记录的List分配给一个线程(名称：ProcessThread)，该线程将处理所有记录并将结

浏览 6提问于2018-10-03得票数 1

1回答

以更快的方式使用卡夫卡主题中的所有信息

python、apache-kafka、kafka-consumer-api、avro

我们的团队正在将Kafka与一个用于实时显示数据的烧瓶应用程序集成在一起，但我们也想显示卡夫卡的历史数据。关于如何更快地获取卡夫卡主题的所有信息，有什么建议吗？还是最好将数据保存到数据库中，然后从数据库中查询数据？

浏览 5提问于2020-11-15得票数 1

回答已采纳

1回答

在PUB/SUB模型中使用来自RabbitMQ的消息

java、jakarta-ee、log4j、rabbitmq、spring-rabbit

与生产相比，这些被推入队列的SQL查询在此时并不非常重要(基本上是为了报告目的)，所以当服务器上没有太多负载时，我将在不同的环境(一些其他独立项目)中执行这些查询。现在让我们进入故事的第二部分，在另一边的独立应用程序中，有两个使用者使用来自RabbitMQ (exchange)的消息( story )。一个使用者总是记录日志(比如查询的备份)，而另一个使用者则在DB上执行批处理更新/插入。我的问题是什么是

浏览 6提问于2015-02-02得票数 1

5回答

activemq -等待所有消息被消耗。

java、jms、activemq

我有一种情况，即有一个批量操作正在处理多个项。在处理完所有项目后，我必须将操作状态更新为已完成。项目由多个使用者并行处理。我说的对吗？谢谢!编辑:简而言之，在处理一组消息之后触发某些操作的正确方法是什么，但是：如果所有消息都被处理，定期检查不是答案。

浏览 7提问于2013-11-07得票数 4

回答已采纳

1回答

卡夫卡制片人与消费者问题

java、spring-boot、apache-kafka、spring-kafka

我对阿帕奇卡夫卡有两个问题。第1期如何使使用者从上一次使用的消息的索引+1中继续。Discovery期望 使用者应该在关闭spring引导应用

浏览 0提问于2019-05-28得票数 1

1回答

Redis流:组/消费者命名和清理

redis、redis-streams

对于流，我有一个相当原始的用例:多个生产者和一个消费者，他们定期分批处理消息。有时会有超过一个使用者，这就是为什么我想从“传统的”不可靠的队列(rpush/lrange/ltrim)切换到流。实际上有两个相关的问题：在使用Redis使用者组时，我必须指定组名和使用者名称。使用一些硬编码字符串作为组名和一些随机字符串作为使用者名称是一个好主意吗？使用者只是一个进

浏览 5提问于2021-01-13得票数 2

回答已采纳

3回答

生成批处理消息

apache-kafka、kafka-producer-api

假设有一个用于执行任务( ListT )的批处理API。为了完成这项工作，所有的任务都需要推给卡夫卡。有两种方法可以做到：我相信方法1会更好，因为对于一个批处理调用，我不需要将消息多次推送给kafka。请有人告诉我，这样做是否有甚麽害处呢？

浏览 3提问于2017-07-04得票数 1

回答已采纳

1回答

关于Apache Kafka的澄清

apache-kafka、kafka-consumer-api

我对阿帕奇·卡夫卡几乎没有什么问题。让我们说，使用者正在从分区读取数据，并且使用者正在运行一个很长的进程。在这种情况下，生产者更新分区的速度将比使用者从同一分区消费的速度要快。有什么</e

浏览 1提问于2020-07-28得票数 0

回答已采纳

1回答

错误:执行使用者组命令失败，因为在代理列表上请求GROUP_COORDINATOR失败(localhost:9092 (id：-1齿条: null))

apache-kafka

我使用的是单节点Kafka集群(版本0.10.2)和单节点动物园管理员(3.4.9)。我有大约310个主题与每个主题的Avg 100个分区。关于Kafka broker，当我运行命令检查组中的使用者状态时 Error: Executing consumer group command我</em

浏览 0提问于2017-05-04得票数 9

1回答

使用Spring批处理调度程序

spring-batch

我们需要使用spring批处理数百万条记录。我们计划使用Spring批处理来完成这一任务，方法是使用JdbcPagingItemReaderBuilder读取数据库，并以块形式处理，并将其写入Kaafka队列。队列的活动使用者将处理数据块并更新db。 使用者的任务是迭代块中的每一项并调用外部api。如果外部系统出现故障或没有成功响应，应该至少重试3次，并且考虑到块中的每个任务都必须这样做，那么理想的方法是什么？另一个需要考虑的用例是，

浏览 2提问于2022-02-22得票数 1

1回答

单活动使用者(SAC) -使使用者线程只从单个队列中使用

rabbitmq、spring-rabbit、rabbitmq-exchange

我试图在与一致哈希交换(它有4个队列)绑定的队列中使用单活动使用者(SAC)。这是用于根据路由密钥分发消息，并在每个队列中进行有序处理。在创建Spring时，在TaskExecutor中设置一个带有4个线程的执行器线程池，假设每个队列都有一个使用者线程。simpleContainer.setTaskExecutor(Executors.newFixedThreadPool(4)); 在测试时，所有4个队列中只有一个线程正在使用，很少有两个线程使用来自4

浏览 4提问于2022-05-16得票数 1

回答已采纳

1回答

将processing.guarentee设置为exactly_once会在python使用者kafka创建反序列化错误。

python、apache-kafka、confluent-kafka-python

当processing.guarantee设置为exactly_once时，python使用者无法反序列化数据。反序列化失败。我尝试了一个java使用者，而java使用者正在成功地读取数据。我从控制台使用者处检查了有效负载，在exactly_once和atleast_once两种情况下，有效负载看起来都是一样的。在两种情况下，即使是在反序列化之前在python使用者处读取的二进制有效载荷看起来也是一样的。在这种情况下</em

浏览 11提问于2022-08-18得票数 0

回答已采纳

5回答

带批处理的Java BlockingQueue？

java、queue、producer-consumer、blockingqueue

我对一个与BlockingQueue相同的数据结构感兴趣，但它必须能够对队列中的对象进行批处理。换句话说，我希望生产者能够将对象放入队列中，但是在take()上有使用者块，直到队列达到一定的大小(批处理大小)。然后，一旦队列达到批处理大小，生产者就必须在put()上阻塞，直到使用者使用了队列中的所有元素(在这种情况下，生产者将再次开始生产，而使用者块将直到再次到达批处理为止)。是

浏览 6提问于2012-02-27得票数 21

回答已采纳

1回答

弹簧卡夫卡批量处理的过滤策略与人工提交实例

spring-kafka

我计划使用spring批处理侦听器进行批处理。我正在寻找这两个场景的几个样本。@Bean public ConcurrentKafkaListener

浏览 2提问于2021-02-20得票数 1

回答已采纳

1回答

卡夫卡(重新)加入了超过2个主题的小组。

scala、apache-kafka、spark-streaming

我正在开发一个使用Kafka作为消息发布/订阅工具的系统。在一种情况下，我有另一个脚本，它使用来自主题"topic_s1“和"topic_s2”的数据，详细说明它们，然后生成具有不同主题的新数据(topic_s1b和topic_s2b)。随后，这些详细的数据将被Apache流脚本所使用。如果我省略了消费者/制片人脚本(我只有一个卡夫卡制片人，有两个主题和火花脚本)，一切都很好。如果我使用完整的

浏览 2提问于2017-09-12得票数 0

回答已采纳

点击加载更多