嗯，我刚接触kafka，只是想知道Kafka流媒体应用程序是否会根据Kafka主题中可用分区的数量自动创建消费者？
浏览 11提问于2020-09-17得票数 0
我有一个要求，我想要采样一个kafka主题(用于检查其数据质量等)，然后触发到它上的流作业。采样的参数之一可以是消息的数量。我引用了"http://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html#creating-a-kafka-source-for-batch-queries不可能从其中读取前N条消息，因为偏移量
浏览 32提问于2020-07-27得票数 1
2回答
我必须在我的应用程序中定义主题。我使用来配置应用程序之间的消息传递。春云流在背景中采用卡夫卡粘合剂。我想知道用分区和复制因子创建主题的最好方法是什么，我想知道我们是应该配置它本身，还是应该使用application.properties。如果分区号可以是一个依赖于使用者编号的动态值，那该怎么办？请给我提示，以正确的方式实施。
浏览 5提问于2022-06-29得票数 0
回答已采纳
1回答
值得注意的是，如果消费者的任务需要两步计算(消费者只需创建任务并将其发送回传输)，那么消费者本身就可以是发布者。因此，我们可以从我有3个服务器的想法开始:1个单一的根发布者(kafka服务器也在那里运行)和2个实际处理任务的消费者服务器。数据工作流程是这样的:发布者创建任务，将其放到transposrt中，然后其中一个消费者从队
浏览 0提问于2014-12-15得票数 2
我是卡夫卡的新手，目前正在研究它。我在golang中使用kafka-go来创建生产者和消费者。目前，我可以创建一个生产者，但我希望消费者一旦一个主题的生产者被创建，而不是每次都被创建。意味着对于每个主题，一个消费者只创建一次。此外，当需要为一个主题创建更多的消费者来平衡负载时，它就会被创建。有没有什么方法可以通过goroutin
浏览 18提问于2019-08-27得票数 0
我正在使用kafka-python-2.0.1来消费来自kafka代理的数据。到目前为止，我只运行了一个消费者实例。我们每5分钟就会收到2M条记录。我注意到kafka-python不能以更快的速度读取数据以及时消费所有消息。我是kafka-python的新手，不确定如何实现才能更快地读取数据。我应该运行多个使用者吗？='SASL_SSL', sasl_mechanism = 'GSSAPI', auto_offs
浏览 31提问于2020-11-06得票数 0
在应用程序启动期间，我检查是否创建了主题my-topic，如果没有- application创建了它。当新版本的应用程序准备就绪时，k8s会启动新应用程序并缩小旧应用程序的规模。在kafka文档中，1个分区只能由1个消费者读取，1个消费者可以从多个分区读取。如果有新的使用者，并且所有的
浏览 1提问于2020-05-22得票数 0
4回答
我希望将工作实例发布到主题中，并运行一组相同的消费者来处理它们。当每个消费者完成其工作时，它将从主题中提取下一项工作。每个工作只应由一个使用者处理一次。处理工作是昂贵的，所以我将需要许多消费者在许多机器上运行，以跟上。我希望消费者的数量根据需要增长和缩小(我计划使用Kubernetes实现这一点)。我发现了一种模式，其中为每个消费者创建了一个唯一的分区。这“划分了
浏览 0提问于2018-07-17得票数 4
回答已采纳
我在一个kafka集群中创建了两个kafka brokers。当一个经纪人宕机时，我无法将任何数据提供给kafka消费者。我使用这个命令来读取来自消费者的消息： --bootstrap-server
浏览 10提问于2021-01-22得票数 0
我知道我创建了测试主题，但我看到了一个名为"__consumer_offsets“的附加主题。从名称上看，它意味着它与消费者偏移量有关，但它是如何使用的呢？$ bin/kafka-topics.sh --list --zookeeper localhost:2181 __consumer_offsets test
$ bin/kafka-topics.sh:1 Configs:segment.bytes=104857600,cleanup.polic
浏览 5提问于2018-12-13得票数 3
我正在调查Kafka，以评估它是否适合我们的用例。你能帮我理解一下卡夫卡改变现有主题的分区数量有多灵活吗？
理想情况下，我希望改变对生产者和消费者是透明的。卡夫卡能
浏览 0提问于2019-01-04得票数 16
2回答
一个关于卡夫卡的主题和划分的快速问题。假设以下场景：
问题是:每个主题中有多少分区？这是否真的取决于促进并行性的消费者的数量？还是只是在文件server.config中
浏览 1提问于2018-03-01得票数 5
回答已采纳
1回答
有一个基本的例子，它对1个消费者来说就像一个护身符。它接收消息。但是添加一个额外的消费者将被忽略。let kafka = require('kafka-node');
let consumer1 = new kafka.Consumer(client,[ {<
浏览 4提问于2017-02-02得票数 2
回答已采纳
我已经创建了一个节点，用于将消息发布到主题流，该主题流将由使用kafka- HighLevelProducer的ConsumerGroupStream使用。当我从相同的ConsumerGroup创建多个消费者来消费同一主题时，只创建了一个分区，并且只有一个消费者在消费。我还尝试为该主题定义分区的数量，尽管我不确定是否需要在创建主题时定义它，如果需要，我需要预先定义
浏览 1提问于2020-01-07得票数 3
我有一个运行2个分区的集群。我正在寻找一种方法将分区数增加到3。但是，我不想丢失有关该主题的现有消息。我尝试停止，修改server.properties文件，将分区数增加到3，然后重启Kafka。使用Kafka ConsumerOffsetChecker，我仍然看到它只使用了2个分区。我使用的版本是0.8.2.2。在0.8.1版本中，曾经有一个名为kafka-add-partitions.sh<em
浏览 72提问于2015-11-13得票数 98
回答已采纳
基于Kafka文档:可以通过拥有一个具有多个分区的主题，然后创建一个最多具有与分区数量相同数量的消费者实例的消费者组，来提高Kafka中的吞吐量。这样，每个使用者实例都被分配了自己的分区。我可以创建一个具有多个分区的主题，然后配置flume-kafk
浏览 31提问于2019-05-30得票数 1
2回答
我在示例中稍微修改了一个代码:当我创建一个Kafka使用者时，我还传递了一个组id，因此消息应该是负载平衡的。()])
或者我不应该依赖SCDF，自己用Python创建主题？我认为这是多余
浏览 8提问于2019-12-14得票数 1
回答已采纳
@StreamListener方法抛出RuntimeException时，重试次数不限spring.cloud.stream.kafka.bindings.inputChannel.consumer.enableDlqspring.cloud.stream.bindings.inputChannel.consumer.backOffMaxInterval=600000Spring Boot 2.0.3Kafka
浏览 0提问于2018-08-27得票数 1
我正在消费数据从卡夫卡主题通过火花结构化流，该主题有3个分区。由于Spark结构化流不允许您显式地提供group.id并向使用者分配一些随机id，所以我尝试检查使用者组id是否使用了kafka命令以下是我的问题( 2)在spark应用程序中，我是否可以获得这些用户组的名称？
3)尽管我的spark应用
浏览 2提问于2019-02-28得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
