我们有不同的消费者组，他们使用来自不同topics.We的数据，topic.We的不同分区需要允许一些消费者组访问特定的主题，以便只有这些组可以从主题中读取。我尝试了像这样的融合Kafka访问控制列表：
bin/kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --
浏览 9提问于2017-07-12得票数 1
1回答
如果我有一个主题和多个具有相同groupId的消费者，那么只有一个消费者应该收到消息(领导者)。我想选择哪个消费者将成为领导者，并在java中接收消息，但我不知道该怎么做。 public
浏览 1提问于2019-08-22得票数 0
我有一个组Id“我-消费者组-id”和3个主题与他们自己的消费者说。my-consumer-group-id"我观察到“我的消费者-1”有200万的记录，有60万的消费滞后，这会不会影响其他消费者被处理
浏览 6提问于2022-02-09得票数 1
回答已采纳
跟进这个 -我想知道消费者组之间的语义和抵消到期.总的来说，我很想知道，kafka协议是如何确定某个特定偏移量(对于消费者组、主题、分区组合)是否过期的？它是基于来自作为组协议一部分的使用者的定期提交，还是在所有使用者被视为死/关闭之后应用offset-tick？我认为，在处理不经常生成数据的主题分区时，这可能会产生影响。在我的
浏览 3提问于2022-03-06得票数 0
2回答
我有一个关于管理多个CG的问题，创建了三个消费者组，每个CG都有自己的kafka服务、组Id和主题。现在我收到了预期的消息，但是，我想知道是否有可能创建下一个场景：function c
浏览 1提问于2018-07-12得票数 2
回答已采纳
我在没有指定kafka组id的情况下运行pyspark structured streaming，每次运行程序时，我发现记录器消息中的group.id总是被更改。我搞不懂，如果它改变了group.id，它怎么知道下一次从哪里开始消费，或者我应该手动设置kafka的偏移量？我怎么知道它自动生成的主题id是否与我手动设置的其他主题id冲突？
浏览 2提问于2020-01-08得票数 0
我有一个用例，在该用例中，我必须测试具有高no消费者组的Kafka (3节点)集群的饱和点。(为我们的生产用例寻找饱和点)生产者ack=all。于是我开始了负载测试，我用3个复制因子创建了3个主题(1个分区)，每个代理都是一个主题的领导者(我通过kafka- topics确定了这一点)。每记录100个消费者群体，花费7毫秒。
当某个主题的
浏览 2提问于2022-01-05得票数 1
回答已采纳
只有一个主题，而对于这个主题，3不同的消费者群体正在根据自己的逻辑从主题中获取相同的消息并进行不同的处理。
是否存在为多个使用者组创建相同主题的问题？当我试图实现异常主题并试图重新处理这些消息时，我就会产生这种怀疑。假设我在主题A中有消息“秘密”，我所有的三个消费者团体都接受了这条信息“秘密”。我的两个
浏览 6提问于2020-01-24得票数 2
如果我将消费者添加到不同的消费群体中，每个消费者将得到相同的信息。那么，为了实现上述目标，是否唯一的解决方案来划分话题呢？这似乎是一个奇怪的设计选择，因为消费者的可伸缩性现在正深入到主题设计甚至生产者设计中。理想情况下，如果某个主题不进行分区，则不应该需要对其进行分区。此外，它还限制了usecase，其中特定的使用者类型可能希望
浏览 0提问于2015-07-21得票数 0
2回答
我在Spring应用程序中配置了一个kafka监听器，如下所示： // Code to convert to json string and write to ElasticSearch这个应用程序被部署到3台服务器上并运行，尽管它们都有kms的组id，但它们都得到了消息的副本，这意味
浏览 1提问于2019-06-11得票数 1
回答已采纳
7回答
我正在使用Apache及其Java客户端，我看到在属于同一组(即共享同一个组id)的不同Kafka使用者之间，消息是负载均衡的。
客户端是否每次都创建一个随机值？我是否需要为每个使用者创建一个不同的id，以确保每个
浏览 17提问于2017-03-30得票数 38
当我向kafka发送一条记录时，主题消费者会收到带有一些不必要的报头的"nativeHeaders“( HeaderMethodArgumentResolver甚至不能将其转换为映射)。我正在寻找一些方法来覆盖HeaderMethodArgumentResolver方法"getNativeHeaders“来排除这个垃圾头部，并且不知道如何将这个子类提供给spring。除了键值之外还有一个额外的字段
浏览 77提问于2019-07-04得票数 0
3回答
在Kafka中创建一个主题之后，您可以创建任意数量的消费者组，只需尝试使用这些组来阅读主题。
我想创建一个额外的使用者组来监视真正的使用者组的消息内容--一个用来查看他们的消息的用户组。因此，GUI将允许您在任何使用者组上单击"peek“，并且"peeker”组将其偏移量更新为被监视组的偏移量，然后它将显示来自该偏移量的消息。
浏览 2提问于2015-01-26得票数 7
回答已采纳
consumer_group是我使用spring-kafka客户端的spring-boot应用程序，而且总是有一个针对该消费者群体的single consumer。spring-kafka version 1.1.8 RELEASE当我使用burrow查询特定的burrow时，我看到15偏移项用
浏览 0提问于2018-08-01得票数 1
3回答
我正在研究Apache-kafka，有一些困惑。请帮助我理解以下场景。所以我的问题是:这10个消费者如何与主题分区p1交互。
浏览 0提问于2018-08-06得票数 0
我想了解卡夫卡是如何被用于实时通知的。假设我有一个卡夫卡主题来提醒你。此主题由各种服务用来向用户发送更新。在线用户将分布在10个实例中。那么，如何确保用户得到正确的通知呢？也就是说，如何确保只有Instance8在处理User1的消息。？
浏览 5提问于2021-12-26得票数 1
回答已采纳
4回答
场景： 我正在将数据JSON对象数据写入kafka主题，而读取时我只想读取基于消息中存在的值的特定消息集。我使用的是kafka-python库。completed", value: 1, active: yes}
{flow_status:"failure",value 2, active:yes} 在这里，我只想读取flow_Status为已完成的消息
浏览 78提问于2019-02-18得票数 2
回答已采纳
5回答
我正在使用apache来生成和使用一个大小为5GB的文件。我想知道是否有一种方式，从主题的消息被自动删除后，它被消费。我有任何方法来跟踪消耗的信息吗？我不想手动删除它。
浏览 0提问于2015-02-18得票数 54
回答已采纳
===从消费者的角度假设一切，===
我读了几篇卡夫卡文章，我看到分区的数量和微服务实例的数量是耦合的.例:如果我说我的serviceA的1主题1分区。如果我旋转新的豆荚(ServiceA2)有highThroughput，那么第二个实例将永远不会收到任何消息，因为卡夫卡/动物园管理员分配id给每个消费者和partition1已经采取了serviceA1为了避免这样的麻烦，卡夫卡建议增加更
浏览 2提问于2021-06-29得票数 1
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
