Kafka HA使用者设置

文章/答案/技术大牛

发布

1回答

apache-kafka、kafka-consumer-api

我的应用程序使用来自kafka主题的消息，当我的环境中只有一个实例运行时，它工作得很好，但是如果我运行多个实例，比如说3个实例(高可用性)，那么我的应用程序的所有实例都不能使用来自主题的消息。/kafka-topics.sh --describe --zookeeper localhost:2181 --topic mytesttopic Topic:mytesttopic PartitionCount所以我不确定在HA中消费来自Kafka的消息或者多个消费者实例时，这里遗漏了哪些步骤。

浏览 1提问于2017-12-20得票数 0

2回答

有没有一种直接将Amazon主题转储到S3的方法？

apache-kafka、apache-kafka-connect、aws-msk

我计划使用Amazon，我想将用户日志转储到S3。但我看不出有什么选择。我是否需要编写自己的用户，还是有一种方法可以直接将Amazon用户输出消费到s3？

浏览 4提问于2020-06-23得票数 2

回答已采纳

1回答

直接从ActiveMQ Artemis复制品中消费

activemq-artemis

在使用HA/数据复制特性的集群场景中，是否有一种方法可以让使用者使用/从从节点获取数据，而不是总是接触主节点(特定队列的主节点)？如果考虑到可伸缩性，让所有使用者调用一个负责管理特定队列的节点，就意味着所有流量都会流向一个节点。Kafka允许消费者从最近的节点获取数据，如果该节点包含领导者的副本，那么ActiveMQ上是否有类似的东西？

浏览 5提问于2021-03-03得票数 0

回答已采纳

1回答

用Django运行kafka消费者

python、django、apache-kafka、kafka-consumer-api

我已经在AWS上设置了一个kafka服务器，并且已经有一个Django项目充当生产者，使用kafka-python。我还设置了第二个Django项目作为使用者(kafka-python)，但我正在设法在服务器启动后自动运行使用者，而不必通过API调用触发使用者。到目前为止，我尝试过的一切要么运行使用者，要么阻止服务器启动或运行服务器，阻止使用者。

浏览 10提问于2022-08-24得票数 1

1回答

为Azure Kafka配置灾难恢复和自动故障转移？

azure、apache-kafka、azure-hdinsight、disaster-recovery

我们的卡夫卡运行在美国东部的Azure HDInsight上，我们的按地区划分的热站是美国西部。

浏览 0提问于2020-11-05得票数 1

回答已采纳

1回答

卡夫卡服务器可以强制消费者属性吗？

apache-kafka、kafka-consumer-api

我可以在Java中设置kafka使用者，并且可以看到使用者API允许我设置使用者属性。我还在kafka服务器上看到一个名为consumer.properties的文件。我认为，如果我将max.poll.interval.ms配置为该文件中的某个值，那么我就不需要在使用者代码中配置它。是不是我不能从服务器端决定使用者属性？我认为，如果kafka服务器决定心跳时间或超时时间，而不是消费者，情况会更好。在kafka

浏览 6提问于2019-11-18得票数 2

回答已采纳

3回答

卡夫卡中的默认消费群体标识

apache-kafka、kafka-consumer-api、spark-structured-streaming

由于我没有在应用程序中提到任何消费者组id，我假设Kafka为每个应用程序分配了一些不同的使用者组id。/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --reset-offsets --to-datetime 2017-11-1907:52:43:00:000 --group <group_name> --topic <topic_name> --execute 如果这是真的，我如何才能获得每个应用程序的使用者组id

浏览 0提问于2019-01-17得票数 2

回答已采纳

2回答

为多个主题创建多个使用者组

apache-kafka

我想为每个主题设置一个消费者组。我没有在kafka .net客户机中找到任何方法，因此我可以动态创建使用者组，并将主题与该使用者组链接起来。我正在使用kafka 0.9.0版本，请告诉我是否需要更改为kafka server设置还是在Zookeeper上

浏览 4提问于2016-06-21得票数 0

1回答

如何在Spring中不进行任何代码更改(包括设置autoStartup = "{xyz}“)而禁用KAFKA使用者自动启动？

java、apache-kafka、spring-kafka

}'.split('\\\\ ')}", groupId = "#{'${spring.kafka.groupId}'}")spring.kafka.groupId=Product-Group 我的卡夫卡消费者是自动开始的。但是，我希望禁用自动启动的KAFKA使用者，而不必对现有代码进行任何更改，包括根据需求在使用者</

浏览 1提问于2021-02-10得票数 0

回答已采纳

1回答

卡夫卡是如何决定哪个消费者在一个单一的消费群体中阅读一条信息的？

apache-kafka、kafka-consumer-api

我想知道是否有任何逻辑来决定哪个使用者在同一个使用者组中读取一条消息。我有一个单一的主题，和一个单一的消费群体。但是，我有一个或多个使用者，因为在生产环境中部署了一个使用者，当我在本地运行我的应用程序时，会创建另一个客户，它订阅同一个主题(这是一个测试项目，所以它不是实际生产，我不担心数据丢失)。是否有可能配置kafka，使先前创建的使用者优先于读取？我的设置包括3个经纪人和1个消费者组id。此外，此 auto.offset.reset被设置为ear

浏览 2提问于2021-01-09得票数 1

回答已采纳

2回答

节点kafka消费群在代理关闭时未收到消息

node.js、apache-kafka、kafka-consumer-api

我在“卡夫卡”中有一个主题叫internal.我使用以下命令创建了主题 --create --zookeeper zookeeper当我列出所有使用者组时，它不会显示特定的组ID。const options = {

浏览 1提问于2018-12-24得票数 0

回答已采纳

1回答

使用者重复事件

events、apache-kafka、duplicates

spring.kafka.consumer.enable-auto-commit=false & spring.kafka.consumer.auto-offset-reset=earliest.如何避免使用者应用程序的复制我们是否需要对上述配置设置进行微调，以避免使用者多次从kafka主题中选择事件。

浏览 7提问于2021-01-09得票数 0

2回答

为什么两个火花流作业会用同一个组id从同一个Kafka主题中提取消息，而不是平衡负载，而是得到相同的消息？

apache-spark、apache-kafka、spark-streaming

Kafka 0.8官方文件对Kafka消费者的描述如下： “使用者用使用者组名称给自己贴上标签，发布给主题的每一条消息都被传递给每个订阅的使用者组内的一个使用者实例。使用者实例可以在单独的进程中或在不同的机器上。如果所有的使用者实例都有相同的使用者组，那么这就像对消费者的传统队列平衡负载一样。”。我用Kafka 0.8.1.1设置了Kafka集群，并使用SparkStreaming

浏览 1提问于2015-11-26得票数 0

1回答

Spring Integration -如何使用声明性方法在发回SOAP web服务的确认消息之前添加主题消息

spring、spring-integration、spring-kafka

我正在使用入站网关使用SOAP web服务，我们需要将消息放在kafka主题中，并使用spring集成的声明性方式向请求者返回同步确认。这是可能的吗？RequestPayload MessagePayload payload) { // need to send message to kafka

浏览 0提问于2017-01-06得票数 0

2回答

融合Kafka* Avro序列化和Spring Cloud*

apache-kafka、spring-cloud、avro、spring-cloud-stream、confluent-platform

我正在尝试使用Spring Cloud和Kafka Avro序列化程序在Kafka上生成一个事件。cloud: kafka: brokers: useNativeDecodingschema.registry.url: 'http://localhost:8081' key.serializer: org.apache.kaf

浏览 0提问于2018-11-01得票数 0

1回答

Flink流- kafka.internals.Handover$ClosedException

apache-flink、flink-streaming

错误日志： at org.apache.flink.streaming.connectors.kafka.internals.Handover.close(Handover.javaat org.apache.flink.streaming.connectors.kafka.internals.Kaf

浏览 22提问于2021-07-06得票数 0

回答已采纳

1回答

使用avro的Kafka控制台生产商

spring-boot、apache-kafka、confluent-platform

我正试图使用apache-kafka二进制文件中的kafka-控制台-生产者来生成消息，并在春季启动时从消费者设置中消费。使用者使用avro架构。当以json格式生成消息时，我的使用者抛出异常--“无法序列化”。我找到了一个解决方案来使用“7.1”，其中有kafka-avro-console-producer。它支持avro，但它是企业版。是否有一种方法可以使用apache-kafka与kafka控制台生产者一起使用avro模式来生成/消费

浏览 6提问于2022-04-26得票数 0

回答已采纳

2回答

是否有可能禁用某些kafka主题的缓存？

apache-kafka

因此，我在kafka中有一个场景，其中有两个主题:A和B :主题A的消费者在线(需要快速消费数据)，主题B的消费者离线。因为主题B的使用者是离线的，所以我现在不需要缓存任何与主题B相关的消息，并且希望主题A获得整个缓存。是否有可能禁用某些kafka主题的缓存？编辑:我所说的缓存的意思是，消息存储在内存中，使用者也在从内存(而不是磁盘)中读取信息。在这个场景中，我希望将与主题A相关的消息缓存在内存中。与主题B相关的消息不必缓存在内存中。

浏览 0提问于2017-08-24得票数 4

回答已采纳

4回答

Kafka:在Docker中运行的应用程序不会消耗从主机上发布的事件。

java、docker、apache-kafka、docker-compose、apache-zookeeper

我启动了一个应用程序实例、一个Kafka实例和一个Zookeeper实例(都是Dockerized的)，然后我与应用程序API交互来测试它的功能。我需要在这个应用程序中测试事件使用者的功能。在本例中，使用者和测试将bootstrapServers设置为localhost:9092。但是，如果应用程序是作为Dockerized实例运行的，它将不会看到事件。在本例中，bootstrapServers在应用程序中设置为kafka:9092，在测试中设置为localhost:9

浏览 0提问于2020-10-09得票数 3

回答已采纳

1回答

使用spring 2.5.8版本实现每个kafka主题分区一个使用者线程

java、spring、multithreading、apache-kafka、spring-kafka

我一直在使用apache客户端(确切地说是2.3.1版本)库来创建kafka使用者，其中一个分区-一个使用者线程是通过以下计算实现的：它过去是手动缩放的，因此当计算的数量需要增加时，在一台计算机上运行的使用者线程的数量就会相应地减少。如何使用org.springframework.kafka.config.ConcurrentKafkaListenerContainerFactory实现这一目标。假设我将max和min的吊舱设置为4，那么理想情况下 4 X

浏览 0提问于2021-07-09得票数 0

回答已采纳

点击加载更多