我需要从一个卡夫卡主题消费，将有数百万的数据。一旦我从主题中读取，我需要将其转换并写入另一个主题。我能够使用来自主题的消息，通过多个线程处理数据，并写入另一个主题。我遵循了这里的示例https://projectreactor.io/docs/kafka/1.3.5-SNAPSHOT/reference/index.html#concurrent-
浏览 32提问于2021-07-28得票数 0
回答已采纳
5回答
我有一个问题，假设有一个主题T1，有两个消费者C1，C2属于两个不同的组，当前偏移量是0。我们知道Kafka维护consumer.So的偏移量，如果C1消费消息，偏移量变成1，那么如果C2消费消息，它是从1偏移量开始还是从0偏移量开始消费消息？意味着如何维护两个不同消费者组的偏移量？
浏览 1提问于2020-02-20得票数 0
假设在Apache Kafka中有一个带有3个分区的主题。我需要在一个消费者组中运行3个消费者，根据文档，这意味着每个消费者将从一个分区读取数据。
消费者是使用Spring Kafka实现的。众所周知，默认情况下，所有消息都是在单个线程中接收的，但是使用ConcurrentMessageLis
浏览 0提问于2020-04-02得票数 1
1回答
下面是我的卡夫卡消费者@ConditionalOnProperty(value = "com.demo.kafka.core.inbound.confluent.topic-name.getTopicName()))}
我的卡夫卡消费者是自动开始的然而，我想禁用卡夫卡消费者</e
浏览 0提问于2021-04-22得票数 1
回答已采纳
我有一个用例，其中我有两个消费者在不同的消费者组(cg1和cg2)中，订阅了具有4个分区的相同主题(主题A)。如果两个使用者从同一个分区读取数据，其中一个失败，而另一个提交了偏移量，会发生什么情况？
浏览 1提问于2020-03-06得票数 1
我有一个Kafka主题，就是在我的产品中流式传输数据。我希望使用相同的数据流进行调试，而不影响现有管道的偏移量。我记得在早期版本中为此目的使用了创建不同的消费者组，但我使用Spark structured从Kafka读取数据，它不鼓励在从kafka读
浏览 27提问于2020-10-16得票数 1
回答已采纳
默认情况下，多个Kafka消费者可以从同一个topic的同一分区中读取数据吗？默认情况下，我的意思是因为group.id不是强制性的，所以我想知道如果我在没有指定任何group.id的情况下产生多个kafka使用者，并为它们提供相同的主题和分区名称，它们是否能够从相同的分区中读取我知道，如果我
浏览 4提问于2017-03-31得票数 1
2回答
我使用下面的代码来读取我的主题数据，即“sha test2”，但它读取的是完全不同的代码行，即20行中的10行。但是当我运行console时，它显示了所有20行代码。也就是说。bin/kafka-console-consumer.sh --zookeeper localhost:2181 --主题sha test2--from-sha
我到底做错了什么？非常感谢您的帮助。
浏览 3提问于2016-01-21得票数 0
我们正计划编写一个Kafka消费者(Java)，它读取Kafka队列来执行消息中的操作。请帮我理解一下。
浏览 5提问于2016-02-23得票数 75
我们有不同的消费者组，他们使用来自不同topics.We的数据，topic.We的不同分区需要允许一些消费者组访问特定的主题，以便只有这些组可以从主题中读取。我尝试了像这样的融合Kafka访问控制列表：
bin/kafka-acls.sh --au
浏览 9提问于2017-07-12得票数 1
我有一个带有3个分区的Kafka主题，我正在使用spark structured streaming使用这些数据。我有3个消费者(假设消费者组A)分别从单个分区读取数据，到目前为止一切都正常。我有一个从相同主题读取的新需求，我想通过再次创建3个消费者(例如消费者组B)来并行它，每个消费者都从单
浏览 4提问于2019-02-28得票数 2
我有一个使用处理器api的拓扑，它更新了一个状态存储，配置了复制因子3，acks=ALL Topologies: Source: products-sourceproducts-source <-- products-processor 我的监控显示，源主题(< 100条记录)的延迟很小，但是支持存储的changelo
浏览 25提问于2020-11-28得票数 3
回答已采纳
我有多个使用者，它们都使用相同的group.id侦听特定的主题。该主题有一个分区。我的理解是，来自相同消费者组(由相同的group.id标识)的消费者将以循环方式获得消息，这样一条消息只由一个消费者处理。使用者在不同机器上的不同Windows服务中运行。消费者是基于用C#编写的</em
浏览 1提问于2017-12-28得票数 0
我有一个简单的，它从Kafka主题读取数据并将数据写入文件。这种方法的直接问题是，5个进程将写入同一个文件。我通过在文件名中附加一个唯一的进程id来解决这个问题。当我最终启动同一个程序<em
浏览 3提问于2020-09-19得票数 0
当Kafka消费者从其分配的分区中读取数据时，消费者抓取器线程是否使用任何特定的逻辑来从分区中获取数据？例如，抓取器线程是否会做出任何逻辑/努力来均匀/统一地从分配的分区中读取数据？它是否会从最滞后<e
浏览 4提问于2021-07-23得票数 0
1回答
我的完全反应式项目会有问题吗？
有没有人可以解释一下，并提供一个解决这个问题的方法？我正在使用Reactor-kafka库，ReactiveKafkaConsumerTemplate。
浏览 2提问于2019-11-27得票数 0
2回答
当我们有多个消费者从单个分区的主题中读取时，所有消费者都有可能得到所有的消息。我已经创建了两个消费者，手动偏移commit.started，第一个消费者，2分钟后启动第二个消费者。第二个消费者正在从第一个消费者停止读取的消息中读取。有没有可能第二个消费者会从头开始阅读所有的信息。我是卡夫卡的新手，请帮帮我。
浏览 24提问于2019-02-09得票数 0
3回答
我正在为我们的应用程序实现一个基于Kafka的解决方案。根据Kafka文档，我所理解的是消费者组中的一个消费者(这是一个线程)内部映射到订阅主题中的一个分区。假设我有一个有40个分区的主题，并且有一个高级别的使用者在4个实例中运行。我不希望一个实例使用另一个实例使用的相同消息
浏览 1提问于2017-06-16得票数 9
回答已采纳
我的问题更多地与性能有关，而不是它们如何在使用者组中使用数据。我们知道kafka在文件系统上创建单个分区日志，该文件系统由该分区上所有使用者组的使用者访问。将对来自不同消费者组的多个消费者访问分区日志文件产生什么影响？
增加特定分区日志的使用者组将减慢访问该分区的</
浏览 2提问于2022-02-07得票数 -1
我已经从堆栈溢出的多个源读取了数据，这表明使用多个使用者组将使我能够从相同的主题中同时从多个使用者读取相同的分区。
因此，这是我上一个问题的后续问题，但背景略有不同。考虑到我们只能将读取和写给分区领导者，并且Kafka日志存储在硬盘上。每个分区表示一个日志。现在，如果我让100个
浏览 4提问于2017-09-27得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
