我们使用6个分区的kafka主题，来自生产者的传入消息有4个键key1、key2、key3、key4及其相应的值，我发现这些值只分布在3个分区中，其余的分区仍然是空的。消息的分布是否以键的哈希值为基础？
假设我的Key1的哈希值
浏览 1提问于2018-07-22得票数 0
回答已采纳
我正在设置spark.streaming.kafka.maxRatePerPartition : 100。它在正常情况下运转良好。当消息在卡夫卡队列中的分布并不均衡时，问题就出现了。正在发生的情况是，即使分区中没有消息，而其他分区有更多的消息(比maxRatePerPartition更多)，但是spark批处理正在以较少的<em
浏览 2提问于2021-09-29得票数 0
在使用Spark Structured Streaming和Kinesis Streams时，我在重新处理流中积累的数据时遇到了读取不平衡的情况(而不是从最新数据读取)。最近，一位团队成员建议改用Kafka。我对Apache Kafka解决这个问题持怀疑态度，因为AFAIK修复我上面描述的读取不平衡的唯一方法是在消费者级别引入某种协调。尽管如此，经过一些测试，来自Kafka主题<e
浏览 1提问于2021-07-04得票数 1
1回答
卡夫卡主题顺序
、、
我有一个使用如下代码的Kafka连接器：ON v.tID = id 这就是我困惑的地方。在此连接器写入的流中，记录以不同的顺序显示！他们加
浏览 16提问于2019-11-07得票数 2
回答已采纳
1回答
如果我们在Kafka中有一个有4个分区的主题。有4个发布者在同一主题中发布消息。所有发布者发布不同数量的消息，如publisher1发布W消息，publisher2发布X消息，Publisher3发布Y消息，Publisher4发布Z消息。 每个分区中有多少条消息？
浏览 12提问于2020-11-19得票数 1
回答已采纳
我有一个Kafka主题，目前有3个分区。我希望我的消费者从相同的分区读取，但每个消息都应该以循环的方式发送到不同的消费者。有可能做到这一点吗？
浏览 0提问于2015-10-22得票数 0
,kafka10.com:9092在我有这么多使用者节点之前，我没有任何问题，但是随着部署期间节点数量的增加，这个应用程序开始大量加载kafka集群。但是，如果整个集群在部署过程中平均丢失2%的CPU，代理列表kafka1.com:9092中
浏览 3提问于2019-10-02得票数 2
1回答
如果我对特定应用程序的EMEA、APAC和NYC实例进行了全局配置，我将考虑区域Kafka代理，所有这些都是从一个中心的单一主题中复制出来的，它们都用于输入，而另一个则用于输出数据。不过，我想要的是，对于我的应用程序的每个区域实例，都要与它所在区域的代理进行通信--就像纽约应用程序与伦敦经纪人对话会增加很多延迟一样。
有没有办法用卡夫卡的配置来做到这一点？正如我所理解的，如果在三个区域中有三个代理，
浏览 0提问于2019-03-19得票数 1
回答已采纳
kafkaTemplate.send(topic, 1, "[" + LocalDateTime.now() + "]" + "Message to partition 1");但是，对于一个生产者来说，如何实现这一点呢?我根据生产者使用DefaultPartitioner发送的密钥哈希来选择一个分区。示例：
kafkaTemplate.send(t
浏览 0提问于2018-08-31得票数 1
4回答
主题通常驻留在broker (服务器进程)中，并且具有多个分区，但它能跨越多个代理或节点(计算机)吗？
也就是说，假设一个主题被分为两个分区，分区-1和分区-2。分区-1是否属于代理-1和分区-2的相同主题属于不同的代理-2或完全不同的节点？
浏览 0提问于2016-07-07得票数 13
回答已采纳
我有一个流作业，它将数据写入Kafka，我注意到一个Kafka分区(#3)比其他分区接收更多的数据。| 6100140089 | 6288410789 |我找到了一个选项--使用Kafka分区数重新划分输出数据集(5)。
浏览 2提问于2020-05-22得票数 1
回答已采纳
2回答
我们知道，在kafka 0.8中，producer直接连接到broker，它不连接到zookeeper。如何在每个请求的基础上实现基于zookeeper的负载平衡？实际上，当创建一个主题时，它的分区将分布在一个或多个代理中。在发送消息时，会根据消息的关键字将消息发送到某个分区。也就是说，某个对
浏览 3提问于2013-01-15得票数 1
2回答
我有一个分区的主题，它有X分区。
到目前为止，在生成消息时，我创建的Kafka的ProducerRecord只指定了topic和value。我没有定义key。据我所知，我的消息将使用默认的内置分区程序在分区之间均匀分布。另一方面，我有一个Kafka消费者的线程池。每个Kafka使用者都将在自己
浏览 20提问于2017-08-26得票数 7
回答已采纳
1回答
我偶然看到关键字‘分区’。当我浏览配方分发锁管理器时，分区只不过是一个资源的实例。(增加numOfPartitions，锁的数量就会增加)。lockGroupName, numPartitions, "OnlineOffline",
RebalanceMode.FULL_AUT
浏览 4提问于2015-03-31得票数 2
回答已采纳
1回答
我想知道简单的主题和分区topic.As之间的区别根据我的理解平衡负载，主题已经被分区，每个消息将有偏移量和消费者将确认，以确保以前的消息已经consumed.In的情况下没有分区和消费者不匹配的再平衡由卡夫卡做它有效地管理如果创建了多个主题而不是分区，是否会影响操作效率。
浏览 3提问于2015-01-07得票数 13
回答已采纳
1回答
我正在进行一个项目，在这个项目中，生产者可以在运行时(而不是固定数量)出现并发布消息。目前，他们发布到在卡夫卡代理中运行时创建的唯一主题(topic.uuid)，我在另一端有一个用户，它订阅了主题。*模式和订阅所有主题，并且随着新主题的到来而重新平衡in.Is它是正确的方法吗？现在，我感到困惑的是，我们应该有一个具有多个分区的主题，还是有一个分区each.Technically<e
浏览 1提问于2016-11-19得票数 6
String topicName="data_"+region;Random randInteger, String>> result =kaf
浏览 2提问于2018-08-31得票数 0
回答已采纳
我有一个有4个分区的kafka主题，就像我有一个包含4个消费者的消费者组一样。是否有方法验证卡夫卡主题的分区之间的消息分发？
浏览 5提问于2016-12-14得票数 2
回答已采纳
2回答
我有一个有10个分区的主题，我用A,B,C,D,E,F,G,H,I 9不同的键生成事件。我观察到这样做的消息：Partition 1- (Message3, Key F) .Partition7-(Message4, Key A), (Message5, Key A)Partition9- Empty
在同一个分区中有两个
浏览 0提问于2019-05-31得票数 1
回答已采纳
我正在使用Kafka Streams在Kafka主题上进行并发工作。该流的格式如下 .map(somefunction)我已经将KStreams设置为有15个工作线程，但是似乎线程之间的工作没有得到正确的平衡我的设置可能有问题吗？我原以为工作会在工作线程之间平均分配，但事实似乎并非如此。
浏览 0提问于2016-07-04得票数 5
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
