1回答
新的kafka消费者的等效属性`num.consumer.fetchers`
apache-kafka、kafka-consumer-api、kafka-python
在Kafka的旧消费者配置中，有一个属性num.consumer.fetchers，用于配置用于获取数据的抓取器线程数。在Kafka的新消费者配置中，是否有任何属性具有相同的功能？如果没有，新的消费者是如何工作的呢？
浏览 0提问于2017-01-19得票数 1
1回答
如何获取kafka消费组的config属性详细信息
apache-kafka、kafka-consumer-api、logstash-forwarder
我是kafka的新手，我正面临着一个消费者组的问题我有一个logstash消费者组，它是很久以前创建的，当我创建一个新的Kafka主题以solr*开始*它会自动添加到kafta消费者组"logstash“如果我创建任何其他名称的主题，它没有添加到该消费者组，所以我想知道我如何才能找到一个消费者组的配置属性信息。我怀疑在创建时是否为该消费者组提供了配置。这是kafka 0.10
浏览 3提问于2020-07-08得票数 1
1回答
如何使用Apache Nifi在多个节点上运行Kafka消费者处理器实例
apache-kafka、apache-nifi
目前我们使用Apache NiFi通过Kafka consumer消费消息。kafka客户端的输出连接到hive处理器。
我正在研究如何在nifi集群上运行kafka消费者实例。我有3个节点的nifi集群和一个有3个分区的kafka主题，我希望kafka消费者能够在每个节点上运行，这样每个消费者可以从一个主题分区轮询消息。在我启动kafka消费者处理器之后，我只能看到kafka消费者</em
浏览 3提问于2019-08-04得票数 0
1回答
卡夫卡导出器kafka_consumergroup_members指标
apache-kafka、prometheus、grafana、strimzi
我使用Strimzi操作符在Kubernetes上部署了一个带有消费者和生产者客户端的kafka集群。我正在使用Kafka exporter来监控与消费者相关的指标(每个主题每秒传入/传出的消息、消费者组的滞后、偏移量等)。但是，我感兴趣的是将Prometheus配置为抓取kafka_exporter指标"kafka_consumergroup_members“，以便稍后在Grafana上显示。我应该向strimzi Prometh
浏览 102提问于2021-07-20得票数 0
回答已采纳
1回答
如何管理Kafka群的过期
stream、apache-kafka、offset
我试图通过删除它并让我的脚本稍后重新创建它来重置消费者配置，但我遇到了一个关于新消费者不可删除的错误。Option '[delete]' is only现在我想知道，从这个错误消息中控制过期的消费者配置选项的
浏览 2提问于2017-08-05得票数 1
回答已采纳
1回答
启用kafka源连接器幂等性
apache-kafka、apache-kafka-connect
如何开启Kafka源连接器幂等性功能？
我知道在confluent中，我们可以通过worker配置中的producer.*属性覆盖生产者配置，但是Kafka本身呢？是一样的吗？设置这些配置后，我可以在哪里看到我的connect worker的应用配置？
浏览 1提问于2021-01-22得票数 1
1回答
如何在kafka中创建新的消费群体
apache-kafka、kafka-consumer-api
然后，我在config/consumer.properties中定义了我的使用者组配置，以便我的使用者可以从定义的group.id中挑选消息bin/kafka-consumer-groups.shvia kafka-console-consumer.sh
我能够通过一个基于python的消费者连接到kafka，该消费者被配置为使用provide group.id，即test-consumer-group首先，我不能理解kaf
浏览 1提问于2020-05-13得票数 5
回答已采纳
1回答
当服务器重新启动后未使用消费者group.id时
apache-kafka
当消费者实例group.id在重启时更改时，是否会对kafka性能产生任何影响。较旧的group.id将会发生什么情况?它是否仍然存在于代理内存中，或者何时将被删除？假设我有1000+消费者实例，并且所有实例都在重启时动态分配group.id。
可以为{log.retention.ms'}提供什么列表值。可以设置为1ms吗？
浏览 8提问于2018-08-28得票数 0
回答已采纳
1回答
Akka streams Kafka消费者进程并行
apache-kafka、akka、akka-stream、alpakka、akka-kafka
我正在开发一个使用Akka Kafka连接器的Kafka消费者应用程序。我希望消费者并行处理消息。我应该选择哪个消费群体？？如何在消费者端配置并行度？
浏览 16提问于2020-05-06得票数 0
1回答
Flume Kafka频道是否总是只有一个内部Kafka消费者？
apache-kafka、flume、flume-ng
基于Kafka文档:可以通过拥有一个具有多个分区的主题，然后创建一个最多具有与分区数量相同数量的消费者实例的消费者组，来提高Kafka中的吞吐量。这样，每个使用者实例都被分配了自己的分区。我可以创建一个具有多个分区的主题，然后配置flume-kafka-channel以使用该主题。然而，不管主题有多少个分区，flume-kafka-channel只创建一个消费者(至少根据我在flume日志中看到的)。 有没有办法将Kafka-Chan
浏览 31提问于2019-05-30得票数 1
1回答
如何使用spring引导配置来定义两个或两个以上的Kafka使用者？
apache-kafka、spring-kafka、kafka-consumer
如何使用配置.properties或.yml定义两个(或更多)卡夫卡消费者？我对使用spring.kafka.*应用程序的属性感兴趣，我还想为两个使用此配置文件的消费者指定两个不同的属性。我在网上看到了使用多个@KafkaLister和一个application.yml的示例，其中@KafkaLister (消费者)bean的所有公共属性都是在application.yml中定义的。这是一个好的概念，但是如果有更多的消费者，并且他们的配置完全不同，那么
浏览 15提问于2022-10-10得票数 0
回答已采纳
2回答
卡夫卡中的背压
apache-kafka、spark-streaming、backpressure
我在Kafka有一个情况，生产者发布消息的速度比消费者的消费率要高得多。我必须在kafka中实现背压实现，以便进一步消费和处理。
浏览 4提问于2018-04-05得票数 11
3回答
kafka中的Bootstrap server vs zookeeper？
apache-kafka、apache-zookeeper
为什么不推荐使用kafka-consumer中的zookeeper，为什么建议使用bootstrap服务器？bootstrap-server有什么优点？
浏览 0提问于2017-09-12得票数 36
回答已采纳
3回答
Node.js:如何使用kafka-node从主题开始拉取消息？
node.js、apache-kafka
我跟随在Ubuntu14.04服务器上安装了Kafka。为生产者和消费者提供的示例运行良好。topic TutorialTopic > /dev/null~/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic TutorialTopic --from-beginning
但是，我正在尝试用Node.js编写一个类似的消费者</em
浏览 2提问于2016-06-08得票数 2
回答已采纳
1回答
如何配置kafka客户端的代理？
java、tcp、apache-kafka、proxy
我使用kafka-clients库来为Kafka主题创建一个消费者。Kafka broker (生产者)处于受限网络中，因此只有部分IP可以访问该服务。因此，我需要在Kafka客户端(消费者)上配置代理才能连接。在ConsumerConfig中，这可以在消费者构造函数中传递，没有代理条目。创建消费者的方法：
浏览 19提问于2020-02-28得票数 0
2回答
如果消费者更多地分割，卡夫卡消费者是如何工作的？
apache-kafka
请任何人解释和指导我的链接或资源阅读卡夫卡消费者如何在以下情况下工作。一个包含5个消费者的消费者组和3个分区的主题( kafka如何决定)
两个消费者组，每个用户一个和两个服务器组成的kafka集群，其中一个主题被划分在节点1和节点2之间，当来自不同组的消费者订阅一个分区时，如何避免重复。以上可能不是配置ka
浏览 1提问于2019-04-05得票数 0
2回答
kafka在大消息入队后“停止工作”
apache-kafka
我正在运行kafka_2.11-0.9.0.0和一个基于java的生产者/消费者。消息大小约为70KB时，一切工作正常。然而，在生产者将更大的70MB消息排入队列后，kafka似乎停止向消费者传递消息。即不仅不递送大消息，而且还递送随后的较小消息。我知道生产者成功了，因为我使用了kafka回调进行确认，并且我可以在kafka消息日志中看到消息。kafka配置自定义更改：replica.
浏览 1提问于2016-02-03得票数 0
1回答
Spring cloud Kafka Stream -不同集群中的死信主题
kafka-consumer-api、spring-kafka、spring-cloud-stream
我有一个Kafka消费者。如果消费者无法阅读任何消息，我需要将其发送到Dead Letter主题。我使用的是Spring cloud Kafka流，我在如下配置中启用了DLQ。spring: stream: definition: myConsumer binderdestination: api-consumer
group: count-execut
浏览 12提问于2021-02-03得票数 0
1回答
卡夫卡休息消费集团
rest、apache-kafka、acl、kafka-consumer-api
当使用kafka rest对消费者消息使用时，消费者组ACL会被检查吗？我将kafka-rest配置为：bootstrap.servers=SASL_PLAINTEXT://localhost:9093client.sasl.mechanism=PLAIN
但是消费者组ACL没有被检查。这是明文使用的，但我已经配
浏览 0提问于2018-03-16得票数 1
回答已采纳
1回答
将动物园管理员偏移详细信息迁移到Kafka
apache-kafka
我们使用的是之前版本的Kafka(0.8.X)，其中所有偏移量细节都存储在ZooKeeper中。现在我们转向了卡夫卡(0.10.X)的新版本，所有的主题偏移细节都存储在Kafka本身中。我们不能从窗口运行kafka-消费群。请建议如何将提交的偏移量从ZooKeeper迁移到Kafka。
浏览 0提问于2018-02-08得票数 0
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号