2回答
由于消费速度慢，卡夫卡重新平衡了话题中的数据。
apache-kafka、kafka-consumer-api、producer-consumer
例如，假设我有一个有4个分区的主题。我向这个话题发送了4k条信息。每个分区获得1k条消息。由于外部因素，消费者中有3人分别处理所有1k条信息。然而，第四个分区只能通过200条消息，留下800条消息留给处理。是否有一种机制可以让我“重新平衡”主题中的数据，比如给分区1-3200个分区4s数据，让所有分区都有200个消息作为一个过程？我并不是在寻找向使用者组添加额外节点的方法，而是让kafka平衡分区。从重新分配分区添加的输出：
当前<e
浏览 0提问于2018-04-23得票数 3
回答已采纳
1回答
弹簧卡夫卡具有多个分区和多个侦听器
java、spring、spring-boot、apache-kafka、spring-kafka
我想为一个主题设置多个分区，比如说3分区。此外，它将有3个消费者在同一组阅读从这些分区(1-1映射，根据卡夫卡设计)。Partition
浏览 0提问于2021-05-26得票数 0
回答已采纳
1回答
如何在KSQL中选择/分配分区
apache-kafka、confluent-platform、ksqldb
我相信这是一个相关的问题： WITH ( KAFKA_TOPIC='source_topic', REPLICAS=1
浏览 2提问于2020-05-13得票数 0
回答已采纳
2回答
在nodeJS中创建主题时，为kafka主题的分区分配领导者
node.js、apache-kafka、kafka-node
我想创建一个具有3个分区的单个主题。在执行此操作时，出现的问题是，只有第一个分区正在获得领导者分配，而其他两个分区没有获得领导者。我想给所有的分区分配领导者。有谁能告诉我我是怎么做到的吗？提前谢谢。topic: topic, Leader: 0,
replicationFactor: 1,: t-26 PartitionCount: 3
浏览 28提问于2020-08-24得票数 0
回答已采纳
4回答
kafka-python -我如何提交一个分区？
python、kafka-consumer-api、kafka-python
如果我有一个有10个分区的主题，那么如何提交一个特定的分区，同时遍历各种分区和消息。我似乎在任何地方都找不到这方面的例子，无论是在文档中还是其他地方。，我想使用：具体来说，我如何创建偏移(dict，可选)- {TopicPartition: OffsetAndMetadata}所需的分区和
浏览 6提问于2016-04-12得票数 11
回答已采纳
1回答
Kafka -不同速度的消费者
apache-kafka、kafka-consumer-api
我们有多台机器作为具有多个分区的一个主题的使用者。这些机器在不同的硬件设置上运行，并且将有比其他机器具有更高吞吐量的消费者。我的一个想法是定期强制重新平衡，但似乎这通常会再次将相同的消费者分配到相同的队列。如果他们被随机重新分配，我的问题就解决了。谢谢，来自柏林的问候，丹尼斯
浏览 1提问于2017-01-20得票数 5
1回答
如何将特定的kafka使用者分配给特定的分区
spring-integration、spring-cloud-stream
我有一个有两个分区的“主题”。topic-1input0具有相同的目的地“主题”和相同的组。我的理解是，由于它是一个相同的组，每个主题将自动分配一个分区。
是否可以将特定的分区分配给特定的消息通道？
浏览 6提问于2017-07-27得票数 3
回答已采纳
1回答
卡夫卡一个消费者一个分区
java、cassandra、apache-kafka、kafka-consumer-api、kafka-producer-api
我有一个用例，其中我有一个带有100个分区的主题，其中每个分区中都有一些逻辑的消息，还有100个读取该消息的使用者。我想要将特定的分区映射到特定的使用者。我怎样才能做到这一点？
浏览 3提问于2017-03-16得票数 1
回答已采纳
1回答
kafka分区重新分配仍在进行中
apache-kafka
我有一个kafka集群21,22,23,24,25，但是一些经纪人被永久删除了， 剩下的23,24,25，那么__consumer_offsets主题分区失去了leader： Topic: __consumer_offsetsPartition: 0 Leader: 24 Replicas: 24 Isr: 24
Topic: __consumer_offsets Partition: 1 Leader: -1 Replicas: 21 Isr: 21 分区1丢失了leader，当我将其重新分配给2
浏览 12提问于2020-12-16得票数 0
回答已采纳
1回答
增加tipics的复制因子
json、shell、apache-kafka、jq
因此，我们已经完成了分区重新分配，将分区重新分配给代理3、4、5和6。此外，为了更高的容错能力，我们希望将所有现有主题的复制因子提高到4。my_topic_2 p0副本是3，6，4，我想将其更新为3，6，4，5
my_topic_2 p0副本是6、
浏览 7提问于2022-11-25得票数 0
回答已采纳
1回答
为什么我的Kafka负载不能在代理之间均衡？
apache-kafka、segment-io
我有一个消费者组，正在读一个有十个分区的主题：
GROUP TOPIC我希望并期望发生的事情是在所有四个Kafka服务器之间分配负载，这样一个服务器就不会成为瓶颈(来自CPU或网络)。为什么这种情况没有发生？Topic: __consumer_offsets
浏览 10提问于2020-02-16得票数 0
1回答
所有监听器启动后的Spring Kafka事件
java、apache-kafka、spring-kafka
我正在使用Spring-Kakfa连接kakfa集群，并且我需要在分配完所有主题的所有主题分区后执行一段代码。@Component public class MyKafkaMessageListener2 { @KafkaListener(topics = "topic
浏览 37提问于2021-08-06得票数 0
1回答
使用pykafka创建kafka主题时创建多个分区
python、apache-kafka、pykafka
from pykafka import KafkaClienttopic = client.topics[topic_name]producer.produce('message'))
这里创建的主题只有一个分区，因为default.How可以使用pykafka为主题分配多个分区</e
浏览 10提问于2017-03-10得票数 2
1回答
用于分区的Spring kafkaListener使用者GroupID
apache-kafka、spring-kafka
我们不需要创建多个从同一个主题读取的kaka消费者/侦听器，而是希望同一个使用者组中的多个消费者从主题的指定分区中读取。
有可能吗？在每个kafka侦听器中，我们都可以指定使用者组id和分区吗？
浏览 5提问于2022-04-18得票数 0
回答已采纳
1回答
Kafka producer -发送消息列表
apache-spark、apache-kafka
我需要发送几批消息，并确保每批中的所有消息都在同一批中一起到达消费者。我使用spark structured-streaming来消费消息。生产者是否应该将所有消息(每批)放在一个列表中，并将该列表发送给kafka？谢谢
浏览 3提问于2018-07-09得票数 0
1回答
Flink on Yarn，与Kafka并行源
scala、apache-kafka、hadoop-yarn、apache-flink
我试图在我的Flink工作中与我的Kafka源码并行，但到目前为止我失败了。$ ./bin/kafka-topics.sh --describe --zookeeper X.X.X.X:2181 --topic mytopic Topic: mytopic Partition: 0 Leader:
浏览 0提问于2017-03-27得票数 0
1回答
Kafka来自不同分区的多重使用者
spring-boot、apache-kafka、kafka-consumer-api、spring-kafka
我有4个分区和4个消费者(例如A、B、C、D)。如何配置使用使用者组从哪个分区读取哪个使用者。我用的是卡夫卡和Spring靴。
浏览 0提问于2019-02-04得票数 1
回答已采纳
2回答
kafka MockConsumer抛出异常错误java.lang.IllegalStateException:订阅主题、分区、pattern互斥
java、kafka-consumer-api
MockConsumer(OffsetResetStrategy.LATEST); consumer.addRecord(new ConsumerRecord<String, String>("test-topic1L, "mykey", "myvalue1")
浏览 0提问于2017-06-20得票数 3
1回答
卡夫卡消费者在同一个消费群体中订阅了不同的主题。
apache-kafka、consumer、kafka-topic
具体而言，A组的消费者1和A组的消费者2分别订阅了主题1和主题2，每个分区都有10个分区。这是否意味着消费者1可以缩放到10，消费者2也可以缩放到10，因为他们订阅了不同的主题。这是正确的设计吗
浏览 0提问于2021-04-14得票数 1
1回答
如何将单台Kafka服务器上使用的Kafka topic迁移到replication因子为2的Kafka集群？
apache-kafka、kafka-cluster
我运行的是具有多个产品和消费者的单个Kafka服务器。现在我想通过添加另一个代理来实现Kafka集群。如何通过使用带有复制因子的相同主题来实现这一点。
浏览 17提问于2019-05-29得票数 1
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号