我的主题有3个分区(在3个不同的代理中)。我想将消息发送到特定的分区1(添加分区id或在我的消息中指定一个键)。假设分区1充满了磁盘，是否为该消息选择了替代分区(在本例中为分区2或分区3)？
浏览 31提问于2020-10-07得票数 1
回答已采纳
正如我所理解的，如果我在我的主题中使用键控消息，kafka分区器将始终以相同的键向同一个分区发送消息，这将确保对特定消息集的排序。此外，默认分区程序将根据该特定主题可用的分区数量，最初作出向哪个分区发送<
浏览 5提问于2017-06-29得票数 0
回答已采纳
我们正在开发一个基于kafka的流系统，在该系统中，生产者将在其主题中生成多个分区，而单个用户将从该主题中消费。我知道kafka在分区内维护消息顺序，但是我们能在主题中的分区之间维护全局消息顺序吗？
浏览 8提问于2016-04-21得票数 7
回答已采纳
1回答
我很难理解分区和用户组背后的关系。
这些想法本身是非常清晰的，每一条推到主题的消息都会被复制到它的所有分区，对吗？这样，如果两个不同的客户端连接到同一主题的两个不同分区，那么它们应该在不相互中断的情况下使用和提交相同的消息。正如我所理解的，
浏览 7提问于2017-05-03得票数 6
回答已采纳
在卡夫卡制片人中，我发送了两组不同的数据。对于这个主题，我有两个分区。第一个是带钥匙的，第二个是没有键的。据我所知，键用于为数据创建分区。如果密钥不存在，则将发送null，并且分区将通过循环调度而发生。除了使用键生
浏览 3提问于2020-01-03得票数 1
我是阿帕奇卡夫卡的新手，我一直在玩它。如果我有两个代理和一个有4个分区的主题，并且假设我的一个代理负载很重，kafka会负责平衡从生产者到另一个免费代理的传入流量吗？如果是这样的话，是如何做到的？
浏览 4提问于2015-12-10得票数 4
我有两个Kafka生产者向同一个主题发送消息，这个主题有多个分区。
来自同一个生产者K1的相同密钥PR1的消息总是按照预期发送到相同的分区PA1。问题是，来自另一个生产者的相同密钥K1的消息转到另一个分区PA2，而我希望它
浏览 0提问于2019-09-10得票数 0
回答已采纳
我们使用6个分区的kafka主题，来自生产者的传入消息有4个键key1、key2、key3、key4及其相应的值，我发现这些值只分布在3个分区中，其余的分区仍然是空的。消息的分布是否以键的哈希值为基础？
假设我的Key1的哈希值是XXXX，那么它在总共6
浏览 1提问于2018-07-22得票数 0
回答已采纳
3回答
我正在尝试将一条消息路由到Kafka中的死信主题，以防在处理相应消息时出现任何失败。我已经为该功能设置了SeektoCurrentErrorHandler和DeadLetterPublishingRecoverer。我已经在卡夫卡集群中创建了test_execution.DLT主题，并且我显然能够从控制台生产者那里产生对这个主题的信息。
使用者正
浏览 1提问于2020-08-07得票数 6
回答已采纳
1回答
我正在考虑将Kafka作为最终将向用户发送推送通知的worker节点的消息代理的几种技术之一。换句话说，我希望每个租户以大致相同的速率处理他们的消息。我的选择似乎要么为每个租户创建一个主题，要么为每个租户创建一个分区。两者似乎都是有问题的和/或不受欢迎的。
为每个租
浏览 0提问于2019-05-02得票数 2
我有一个消费者，它会投票给多个主题。对于这个问题，我限制了每个主题的一个分区。假设到消费者开始轮询时，每个主题都有一些数据。阅读的顺序是什么？
是循环往复吗？是从第一次读到第二次吗？我使用consumer.poll(N)进行投票。
浏览 0提问于2018-11-05得票数 5
回答已采纳
我们有多个kafka分区。因此，假设create消息发送到分区1，update消息发送到<e
浏览 0提问于2021-05-06得票数 1
当一个分区由生产者使用一个数字分配时。kafkaTemplate.send(topic, 1, "[" + LocalDateTime.now() + "]" + "Message to partition 1");
number 1第二个参数定义了要发送消息的分区我根据生产者使用DefaultPartitioner发送的密钥哈希来选择一个分区</e
浏览 0提问于2018-08-31得票数 1
我想使用键/值模式写作卡夫卡，以保持相同的顺序，数据写入，同时阅读。我的问题是，主题中的分区数是否等于传入数据中的不同键数。我已经知道，使用键/值模式，具有相同键的数据将转到同一个分区。因此，如果分区的数量不等于数据中的不同键数，那么我们可以在同一
浏览 3提问于2020-02-18得票数 0
回答已采纳
1回答
我开始使用Kafka，并试图了解当Kafka集群中的主题分区填满超过其限制时会发生什么。我知道一个分区驻留在同一个节点上，但不同的分区驻留在不同的节点上。如果我在Kafka生产者中使用自定义分区逻辑，其中某个键总是指向某个分区，那么当该分区变满时会发生什么？
浏览 13提问于2018-01-14得票数 1
回答已采纳
我对Kafka，zookeeper和Storm都不熟悉。在我们的环境中，我们有一个Kafka代理连接到多个动物园管理员。让生产者将消息发送到特定主题，并将一个代理上的分区发送给多个zookeepers，与将多个代理发送给多个zookeepers相比，是否有优势？
浏览 1提问于2015-09-02得票数 1
在使用Spark Structured Streaming和Kinesis Streams时，我在重新处理流中积累的数据时遇到了读取不平衡的情况(而不是从最新数据读取)。最近，一位团队成员建议改用Kafka。我对Apache Kafka解决这个问题持怀疑态度，因为AFAIK修复我上面描述的读取不平衡的唯一方法是在消费者级别引入某种协调。尽管如此，经过一些测试，来自Kafka主题<e
浏览 1提问于2021-07-04得票数 1
2回答
我正在遵循Kafka streams文档，我对一些概念感到困惑，我想在这里澄清这些概念。它还标记要重新分区的数据。 问题： 1)重新划分是什么意思，是为新的主题重新划分数据，还是重新划分同一主题中的数据，从哪里开始流式传输？2)如果旧的主题数据被重新划分，这是否意味着转换后的结果也将写入该主题？它获取了一条记录
浏览 12提问于2019-09-29得票数 0
4回答
我们开始在后端再开发中使用Kafka，并且有一个关于如何构建我们生产和消费的消息的快速问题。 假设我们有一个处理用户CRUD操作的用户微服务。已经提出的两种可能的结构是： 1)四个kafka主题，每个操作一个。topic: user_deleted
and so on 2)与用户相关
浏览 53提问于2017-06-26得票数 2
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
