Kafka消费2个主题，获取相同数量的消息
Kafka是一个分布式流处理平台，它具有高吞吐量、可扩展性和容错性的特点。它通过将数据分成多个分区并在多个服务器上进行分布式存储和处理，实现了高效的消息传递和处理。
在Kafka中，主题（Topic）是消息的逻辑容器，用于将消息进行分类和组织。消费者（Consumer）可以订阅一个或多个主题，并从主题中获取消息进行处理。
要消费两个主题并获取相同数量的消息，可以采取以下步骤：
- 创建两个主题：首先，使用Kafka提供的命令行工具或API创建两个主题。可以指定主题的名称、分区数和副本数等参数。
- 创建消费者：使用Kafka提供的客户端库，编写代码创建两个消费者实例。每个消费者实例订阅一个主题。
- 消费消息：在消费者代码中，通过轮询的方式从订阅的主题中获取消息。可以设置每次轮询获取的消息数量，确保获取相同数量的消息。
- 处理消息：对于获取到的消息，根据业务需求进行相应的处理。可以将消息存储到数据库、进行实时计算、发送到其他系统等操作。
推荐的腾讯云相关产品是腾讯云消息队列 CMQ，它是腾讯云提供的一种高可靠、高可用、高性能的消息队列服务。CMQ支持类似Kafka的消息发布和订阅模式，可以用于构建分布式系统、异步任务处理、日志处理等场景。
腾讯云消息队列 CMQ产品介绍链接地址：https://cloud.tencent.com/product/cmq
相关·内容
自从我开始使用Kafka以来，我注意到Kafka正在广播每个消费者或群体的消息。如何让生产者只将消息发送给某个特定的消费者？我说的是一个主题系统谢谢
浏览 1提问于2018-01-04得票数 0
蜘蛛可以非常快地完成爬行，因为redis中的队列保持在一个非常低的数字，大多数时间少于10个。但demo.incoming中的消息数量每秒都在堆积。这是我用来查看Kafka中demo.incoming主题消息数的命令--broker-list localhost1 | awk -F ":&qu
浏览 1提问于2019-07-07得票数 1
2回答
Kafka保证有序投递和多订阅者。卡夫卡是怎么做到的？Q1:在这种情况下，哪个更好？请给我提个建议。即使我对JMS的看法是错的，请让我知道。
浏览 1提问于2017-03-08得票数 18
回答已采纳
2回答
我们想知道对于给定的Kafka主题，还没有被Kafka Consumer消费和确认的消息数量。
有没有办法在Java中获得给定主题(主题有10个分区)中未消费的Kafka消息的计数?？
浏览 3提问于2019-10-24得票数 3
使用apache-Kafka版本2.11-2.4.0。 我正在创建一个应用程序，我想在其中向同一消费者组中的所有订阅者(消费者)发布事件。但在许多地方，我发现Kafka向消费者群体广播消息。
浏览 23提问于2020-01-09得票数 1
回答已采纳
1回答
为了消费来自Kafka的数据，我们可以在一个主题上有多个消费者，完全解耦。那么，在卡夫卡和脉冲星之间存在差异的页面上的no shared consumption (https://streaml.io/blog/pulsar-streaming-queuing)是什么意思？
浏览 19提问于2019-04-26得票数 2
回答已采纳
想知道下面这种情况的最好方法。我应该有1个主题和分区数等于no吗？并在发布消息时使用key，因此每个分区将由一个特定的
浏览 6提问于2020-04-22得票数 0
1回答
我已经进入了一个特定的需求，并希望听取人们的意见，当然不是重复发明轮子。A和B将以不同的摄取率填充消息。例如:A可以先填充10K消息，然后再填充B。或者在某些情况下，A和B将同时填充消息。摄取过程是我们无法控制的。对我们来说，这就像是第三方上游系统。
我需要从这两个主题中提取信息，并将它们按相等的比例混合。例如:如果配置的大小为50。然后我应该从A中选择50，从B中选
浏览 12提问于2019-07-09得票数 1
当我运行这个命令时，我得到了2个主题。我知道我创建了测试主题，但我看到了一个名为"__consumer_offsets“的附加主题。从名称上看，它意味着它与消费者偏移量有关，但它是如何使用的呢？$ bin/kafka-topics.sh --list --zookeeper localhost:2181 __consumer_offsets test
$ bin/kafka-topics.shTopic: __consum
浏览 5提问于2018-12-13得票数 3
3回答
假设我有消费者集团G1，它有三个消费者-- C1，C2和C3。所有订阅主题1，其中有一个分区。现在生产者在partition1上产生3条消息，代理将把1条消息移交给每个消费者。对吗?Kafka与消费者的交互方式与Pub-Sub消息相同，直到新的消费者订阅了与“Group-1”相同的主题“Top-01”和“Gro
浏览 9提问于2017-06-22得票数 1
回答已采纳
1回答
我试图让多个用户使用相同的groupId来处理卡夫卡主题的多个分区，这将帮助我扩展消息的消耗。将消费者作为同一个消费者组的一部分意味着提供来自主题分区的消息分布在组成员之间的“竞争消费者”模式。每个使用者从一个或多个分区(“自动”分配给它)接收消息，而其他使用者(分配给不同分区)不会接收相同的
浏览 1提问于2019-10-14得票数 2
使用管理客户端以Java代码与Kafka通信。我们能够对特定主题执行所有的CRUD操作。我们的新需求是获取主题的消息数量，主题的所有消息的大小，每个主题分区的最后一个偏移量。输入: Broker列表和主题预期输出，5个分区如下所示 "total": 10,
"partitions&quo
浏览 2提问于2019-01-22得票数 0
我读过和许多这样的博客。当使用多个使用者组id运行多个消费者时，多个消费者可以在单个分区上运行，并且一个消费者组中的一个消费者只能在给定时间从一个分区消费。我的问题与多重消费者有关，来自的多个消费者组消费来自相同的主题
在多个消费者(不同的组)使用单个主题(
浏览 0提问于2017-07-18得票数 12
回答已采纳
1回答
我已经使用python.How创建了实现的Kafka生产者-消费者消息传递主题我可以对队列做同样的事情，这样消息就只会发送给一个消费者。这是我的生产者代码from kafka import KafkaProducer
# Define serverproducer.send(topicName,str.encod
浏览 3提问于2020-12-03得票数 0
3回答
我需要在一个卡夫卡主题存储的消息数量。这与是否有消费者消费了消息无关。kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092,localhost:9093,localhost:9094--topic test-topic
上面给出了主题的偏移量？以上数据是否等于kafka topic当前存
浏览 0提问于2018-08-23得票数 0
在Kafka中，一个消费者可以订阅的主题的最大限制是什么。我在任何地方都找不到这个记录的值。
如果消费者订阅了500000个或更多的主题，性能是否会下降。
浏览 6提问于2017-09-19得票数 5
我有以下带有kafka输入的logstash配置 kafka { topics => ["codec => "json" doc_as_upsert => true }我面临的</e
浏览 5提问于2017-02-04得票数 2
最近，一位团队成员建议改用Kafka。我对Apache Kafka解决这个问题持怀疑态度，因为AFAIK修复我上面描述的读取不平衡的唯一方法是在消费者级别引入某种协调。这就是Apache Flink的kinesis连接器在重新处理Kinesis streams ()时提供对齐的方式
我一直在更深入地研究Apache Kafka的架构和设计，但我看不到任何类似于消费者群体的协调机制尽管如此，经过一些测
浏览 1提问于2021-07-04得票数 1
1回答
有一个基本的例子，它对1个消费者来说就像一个护身符。它接收消息。但是添加一个额外的消费者将被忽略。let kafka = require('kafka-node');});
consumer2.on('message&#
浏览 4提问于2017-02-02得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
