卡夫卡每个群体推荐的消费者人数是多少？基本上，我有400个主题，我想从我的小组消费。在我的实验中，我注意到，如果我把所有400个主题都用在消费者身上，它就能工作。但是，如果我为单个消费群体中的每个主题创建了一个消费者，我就无法接收到任何消息。
编辑:我发现一些消费者能够在轮询循环中接收消息，但不是全部。我的猜测是，由于心跳不振，他们正被从消费者群体中移除。-69, groupId=chow] Att
浏览 0提问于2019-03-08得票数 2
我正在外部化数据库中主题的kafka消费者元数据，包括消费者组和组中的消费者数量。如果消费者组计数设置为3，我将创建3个消费者线程。这是基于给定主题的分区数量
现在，如果我需要横向扩展，我如何在多个应用服务器节点上分配属于同一组的消费者。而不需要多次阅读相同的消息。消费者的初始化代码将在应用服务器启动时被调用，它将从数据库中读取消费者的元数据，并在应用服务器的同一实例上创建所有消费者线程，即使我添加更多的应用服务器实
浏览 5提问于2020-06-30得票数 1
1回答
我在一个Kafka集群中消费一个Kafka主题(保留21天)，作为消费者(最早/从开始)连续15天与x消费者组在一起，在第15天，生产者团队停止生产，我在我这边停止消费者，以确保没有剩余的消息可供消费然后Kafka集群也被关闭了。然后，在第16天，Kafka Cluster启动了，Producer在第23天启动了他的producer，我也启动了我自己的消费者。但当我开始的时候，我从一开始就收到了信息，而不是
浏览 29提问于2020-07-24得票数 0
在Kafka中，每个消费者组由许多消费者实例组成，以实现可伸缩性和容错。 kafka消费者可以属于多个消费群体吗？
浏览 30提问于2020-08-19得票数 1
回答已采纳
1回答
我正在开发一个使用Akka Kafka连接器的Kafka消费者应用程序。我希望消费者并行处理消息。我应该选择哪个消费群体？？如何在消费者端配置并行度？
浏览 16提问于2020-05-06得票数 0
我们有一个消费者服务，它总是试图使用消费者组从主题中读取数据。由于重新部署，我们的Kafka集群会定期关闭并重新创建。每当集群再次返回时，我们观察到尽管之前的主题被选取(可能来自zookeeper)，但之前的消费者组并没有被创建。正因为如此，我们使用以前的消费者组创建的正在运行的消费者进程被卡住了，永远不会出现。这是消费者群体的行为应该是什么样子，还是我们需要在某个地方启用某个配置？
任何帮助都是非常感谢的。
浏览 4提问于2018-08-06得票数 1
机器1：机器2：集装箱在这两台机器上运行。] withRecover -> DEBU 00e Failed to connect to broker kafka0.example.com:9092: dial tcp 172.20.0.5:9092: connect: connection refused
2020-06-09 20:10:31.321 UTC [orderer.consensus.<
浏览 4提问于2020-06-09得票数 0
1回答
我想问问消费者群体，但是在云之间..。生产者:经纪人集群:B、C、消费者:d、E、F我想问，我们能用同一个组配置云D和云E吗？卡夫卡经纪人是如何从不同的云端注意到这个群体的？
因为当我开始我的消费脚本(我使用kafka/laravel)时，我只运行了kafka : my，然后是kafka消费者运行
浏览 3提问于2022-01-10得票数 0
有一个Kafka服务器使用Kafka来存储消费者组的偏移量，我想知道__consumer-offsets topic是否会有一个针对已删除的消费者组的事件？或者我如何订阅此活动而不询问Kafka是否存在特定的消费群体
浏览 42提问于2020-09-12得票数 0
卡夫卡出口商公开了"kafka_consumergroup_members“标准，它显示了每个消费者群体中有多少成员。然而，我想知道是否有可能列出每个消费群体的实际成员，类似于如何使用“-group-describe-members”选项与卡夫卡-消费者组。be shell脚本输出指定群体的个人消费者。
浏览 7提问于2022-06-10得票数 0
显然，在早期的kafka版本中，某个消费群体的消费者列表存储在zookeeper中。对于最新的kafka版本，这些信息存储在哪里？
浏览 18提问于2019-12-21得票数 2
回答已采纳
我希望实现一个从Kafka主题消费的函数，对于每个消费的消息，它调用另一个方法对消息进行一些处理，然后将其存储在数据库中。源kafka主题有12个分区。我想在同一个消费群体下创建6到12个kafka消费者。所有的消费者都将消费来自Kafka的消息并调用该函数。我不能得到一个好的设计。有人能帮帮我吗？
浏览 1提问于2020-02-19得票数 1
我注意到Consumer配置有两个ID。一个是group.id (强制)，另一个是consumer.id (非强制)。
浏览 2提问于2016-01-01得票数 45
我想用FlinkKafkaConsumer08来阅读卡夫卡的话题。这些消息是事件来源方面的命令。我想从头开始，而不是阅读已经在主题中的信息。我想有一种方法可以告诉FlinkKafkaConsumer08从头开始。多么?我尝试将"auto.offset.reset“属性设置为”最大“，但没有结果。我也尝试过enableCheckpoing。
我已经尝试将"auto.commit.interval.ms“设置为1000。那么，至少先前已经处理过的消息不会被再次处理。这是一个很大的改进，因为至少命令不会执行两次，但丢弃旧的命令消息会更好。我将采用的解决方案是根据日期丢弃旧消息
浏览 2提问于2016-09-28得票数 0
我想知道如何在从executor进程内部运行的SimpleConsumer之间共享Kafka分区。我知道高水平的Kafka消费者是如何在消费者群体中的不同消费者之间分享部分的。但是，当Spark使用简单的消费者时，这是如何发生的呢？将有多个执行器用于跨机器的流式作业。
浏览 0提问于2018-05-18得票数 0
1回答
当我检查使用者延迟时，它会显示某个特定的consumer-id是从某个主题的特定主机消费中运行的。但是当我去那个主机时，没有这样的消费者在运行。Kafka server version: 0.11.0.1
这个consumer-id被卡在了第一位，因为它无法使用消息，因为有些消息在Kafka中有标题。我已经尝试过以下几种方法：
从不同的主机和不同的卡夫卡版本消费，它消费的信息，但消
浏览 0提问于2019-02-18得票数 3
1回答
我正在用消费者群体自动调节功能实现kafka解决方案，我正在使用Grafana仪表板来显示kafka出口商的指标，如下图所示。
您是否可以提示一下，如果运行prometheus/Grafana查询来显示特定消费者组的当前消费者数量。
浏览 2提问于2021-06-06得票数 0
回答已采纳
我想知道使用java的消费群体的消费滞后。我试过使用 kafka-consumer-groups --describe --bootstrap-server localhost:9092 --group MyGroupName 并且滞后是可见的我曾尝试使用org.apache.kafka.clients.admin.AdminClient，但无法获得每个消费者组的lag。我正在使用confluent 5.0.1 which has kafka 2.0.1 org.apa
浏览 96提问于2019-05-09得票数 3
回答已采纳
我不需要为这个消费者提供补偿。这是不可能实现的spring，因为一个新的消费者组总是提交新分配的分区。然后，在程序的后续启动时，使用者从存储的偏移量中读取，而不是从最新的偏移量中读取。换句话说，只有从新的消费者群体开始的第一步行为才是正确的，即从最新的消费者群体开始消费。KafkaMessageListenerContainer$ListenerConsumer.onPartitionsAssigned()中spring
浏览 1提问于2017-08-19得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
