如果卡夫卡消费者在同步模式下消费信息，但是他们依赖的下游服务中断(例如。无法连接到DB)。卡夫卡协调者不断触发群体再平衡，最终所有的消费者都会死吗？
浏览 0提问于2018-11-04得票数 0
回答已采纳
1回答
我们最近遇到了一个问题，一些卡夫卡分区丢失了，工作继续进行，没有失败。同时，添加了新的kafka分区。看起来，我们的星火流作业没有重新启动，也没有收到来自新分区的任何数据，直到我们注意到计数上的差异。我们重新开始工作，一切都很好。所以我的问题是，星火-卡夫卡流api不定期检查是否添加了新的分区？有什么特殊的设置来启用它吗？
浏览 0提问于2018-10-29得票数 0
回答已采纳
1回答
我有下面的卡夫卡设置 Number of topics : 1 Number消费者1不断地消费消息。我突然杀死了消费者1，除了消费者2或消费者3，我会在消费者1失败后使用这些信息。
在某些情况下，会发生再平衡，并且消费者2开始使用消息。这完全没问题。但在某些情况下，消费者2或消费者<
浏览 1提问于2014-10-28得票数 1
1回答
例:卡夫卡消费者每秒钟收到很少的用户对象记录。传入的用户也有"timeInterval“参数。问题：
当工作在运行时，卡夫卡继续推动许多用户使用这个程序。"intervalUserMapMap“内的intervalUserMapMap将被更新。这可能会导致两个线程访问相同Map的问题。
浏览 3提问于2020-07-12得票数 0
1回答
当一个消费者从一个群体中掉下来，一个再平衡被触发，我知道没有信息被消耗-或者卡夫卡在再平衡过程中是否将有效载荷发回？更新根据我的理解，当其中一个使用者从使用者组下来时，将执行分区到使用者的再平衡。在再平衡过程中，如果已经进行了轮询并等待最大时间通过，是否会将错误发回给使用者？还是卡夫卡
浏览 6提问于2021-03-08得票数 0
2回答
我们在一个组中有10个消费者在听一个主题。经常发生的情况是看到消费者经常被重新平衡(这会在一段时间内完全停止消费者过程)。 # .我们的消费者代码如下： inline fun <reified T : Any> consume( groupId
浏览 33提问于2019-06-18得票数 9
我正试着想出一个卡夫卡的消费设计。我使用的是0.8.1.1版本的Kafka。我正在考虑设计一个系统，在这个系统中，每隔几秒钟就会创造一次消费者，消费卡夫卡的数据，处理它，然后在将补偿提交给卡夫卡之后退出。在任何时候，都期望250-300个消费者处于活动状态(在不同的机器上以ThreadPools的形式运行)。
在消费者之间重新平衡分区是多么的昂贵。我期待一个新的消
浏览 3提问于2014-11-05得票数 1
1回答
鉴于卡夫卡消费者的静态成员，什么是最好的做法，以优雅地关闭它？总是在退出之前关闭()消费者。这将关闭网络连接和套接字。它还将立即触发一个重新平衡的，而不是等待组协调器发现使用者停止发送心跳并可能死亡，这将花费更长的时间，从而导致消费者不能使用来自分区子集的消息的更长时间。如果关闭网络套接字，但不引起再平衡，也许是经过调整的版本？我真的很想知道，在
浏览 7提问于2022-08-03得票数 2
我正处于探索卡夫卡的初始阶段，版本为0.8.1.1。
配置kafka，等待一定时间的消费者活动，并自动重新平衡，假设它被不体面地关闭。这里的问题是，分配给死消费者的分区中的所有消
浏览 2提问于2014-05-21得票数 12
回答已采纳
Kafka在随后的轮询()调用之间等待的最长时间(在将成员踢出组和重新平衡之前)由max.poll.interval.ms控制。然而，在网络中断或间歇性崩溃的情况下，我注意到最大投票间隔很大的工作人员可能会“陷入”再平衡。那么，我猜正在发生的事情是，我的工作人员在从代理断开之前发送了一个JoinGroup，这导致代理在标记它们为死之前等待完整的max.poll.interval.ms，并允许重新平衡新的工作人员。如果这意味着网络中断后的再平衡会有一点混乱，因为消费者会延
浏览 6提问于2020-04-15得票数 1
我在写一个与卡夫卡一起工作的围棋服务。当代理重新平衡时，我遇到了错误提交的问题。我想做一个实验，强迫卡夫卡重新平衡，看看服务是如何运作的。然后我使用相同的groupID运行两个消费者，然后关闭一个。在我看来，经纪人现在应该开始重新平衡。还是没有？我该查一下是谁的日志？
浏览 5提问于2022-03-07得票数 0
我担心的是卡夫卡的再平衡过程。目前我们的处理逻辑发生在运行Kafka消费者的机器上，所以我想知道在重新平衡的情况下会发生什么？如果我使用auto.commit false，当有未提交的消息时，Kafka是否有一些保证不会重新平衡。
谢谢。
浏览 2提问于2015-11-24得票数 1
例如，一个消费者组的6个实例，从4个Kafka分区消费.因此，在任何时候，实际上只有4个实例在使用。
在这种情况下，我是否可以暂停卡夫卡消费骆驼路线，而不让卡夫卡试图向其他潜在消费者重新平衡？
浏览 4提问于2020-02-25得票数 0
kafka-topics.sh --alter --zookeeper zookeeper:2181 --topic test --partitions 100
我们希望每隔几秒钟。这个手术很重吗?这就是每5分钟发生一次的原因吗？然后，这个主题引导的生产者和他配置的partitonCount (例如20个)比创建的分区的数量要大，所以spring云流添加了丢失的分区，同时消费者分配的
浏览 3提问于2018-01-22得票数 0
2回答
我的卡夫卡主题有两个分区和一个卡夫卡消费者。我已经在AWS中部署了我的消费者应用程序(Spring)。在日志中，我经常看到卡夫卡消费者的再平衡。这种情况不经常发生。根据当前的观察，当消费者倾听话题而无所事事时，这种再平衡就会发生。感谢有人能解释我的这种行为。我在这里张贴了一些日志。
浏览 5提问于2022-02-23得票数 1
我需要澄清重新平衡如何影响同一群体的消费者，但他们订阅了Kafka 0.10.1中的不同主题regex。我查阅了卡夫卡文档并找到了一些相关信息。第二点明确指出，消费者：
Re
浏览 3提问于2017-12-08得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
