如何使用Apache Kafka在Spring Boot中消费和保存自定义类型列表？

文章/答案/技术大牛

发布

1回答

java、spring-boot、apache-kafka、spring-kafka

我正在写一个Kafka生产者和消费者发送我的自定义数据，并在消费后保存。我做了所有必需的Kafka配置，但我得到了一个造型异常。Record>> kafkaTemplate() { } } 消息成功发送并打印到控制台，但类型不是我所期望的类型我发送了一个列表，但它是作为Link

浏览 30提问于2019-08-28得票数 3

回答已采纳

2回答

springboot如何集成Ckafka,必须使用kafka-client吗？

kafka

浏览 396提问于2023-02-27

2回答

在Docker容器中使用kafka运行spring boot应用程序时，Broker不可用

docker、apache-kafka、spring-kafka

我刚接触docker，在Docker容器中运行Kafka代理时遇到了问题。我和kafka开发了spring boot应用程序，生产者和消费者在同一个应用程序中。应用程序在没有docker的情况下成功运行，但当我尝试通过主机上的docker容器运行它时，会出现以下错误： org.apache.kafka.clients.NetworkClient

浏览 237提问于2021-02-21得票数 0

2回答

Spring Boot / Kafka Json反序列化-受信任的软件包

spring、spring-boot、apache-kafka、spring-kafka

我刚刚开始使用Kafka和Spring Boot &我想发送和消费JSON对象。当我尝试消费来自Kafka主题的消息时，收到以下错误： org.apache.kafka.common.errors.SerializationException: Error deserializing(JsonDeserializer.java:218) ~[spring-kafka

浏览 0提问于2018-05-10得票数 7

2回答

使用Spring* Kafka添加自定义头部*

spring、apache-kafka、spring-kafka、spring-boot-test

我计划使用Spring Kafka客户端在Spring Boot应用程序中使用kafka设置并生成消息。我在Kafka 0.11中看到了对自定义头部的支持，作为详细的。虽然它对原生Kafka生产者和消费者是可用的，但我不认为Spring Kafka支持添加/读取自定义</em

浏览 1提问于2018-02-15得票数 5

回答已采纳

1回答

Spring Cloud Stream Producer在使用Spring Kafka Consumer时添加“垃圾”字符

java、spring、kafka-consumer-api、spring-cloud-stream、spring-kafka

我们的微服务使用JDK 8，Spring Cloud Stream API with Spring Boot 1.5.2 messages将消息生成到Kafka队列。对于Consumer API，我们使用Spring Kafka 1.1.2.RELEASE，特别是@KafkaListener。消息类型为应用程序json 我们注意到，消费者在消息的"contentType“附近添加了一些垃圾

浏览 0提问于2017-06-20得票数 0

1回答

如何使用Spring* Boot Kafka让Kafka brokers加入集群？*

spring-boot、apache-kafka、spring-kafka

我有一个Spring Boot (2.3.3)服务，它使用spring-kafka来访问专用的Kafka/Zookeeper配置。我一直在使用服务器设置spring.kafka.bootstrap- application.properties =localhost:9092来访问我的开发/测试Apache Kafka服务。然而，在生产中，我们在</em

浏览 25提问于2020-09-15得票数 1

1回答

使用Spring* Boot的多线程事务性Kafka生产者和消费者*

multithreading、spring-boot、apache-kafka、spring-kafka、spring-transactions

我有一个项目，其中使用Spring Boot相关项目。我想在项目中使用Kafka的消费者和生产者的事务功能。我需要尽可能高效地在Kafka中产生大量的消息。所以我需要一个多线程的消费和生产来满足这个需求。如何使用Spring boot开发多线程消费者和生产者？

浏览 81提问于2020-10-14得票数 0

回答已采纳

1回答

如何在kafka* producer中切换到自定义编码器？*

java、apache-kafka

当我尝试在kafka主题中使用字符串作为键时，我得到了以下错误。:53) atat kafka.producer.async.ProducerSendThread$$anonfun$processEvents$3.apply(ProducerSendThread.scala:68implements Encoder<

浏览 0提问于2018-05-15得票数 4

1回答

我有没有可能在spring-kafka中提供运行时的配置细节给生产者和消费者？

spring-boot、apache-kafka、spring-kafka

我们正在使用spring boot将我们的项目迁移到微服务。我有一个需求，我应该能够使用配置细节运行生产者和消费者，比如引导服务器和用户在运行时提供的键值serdes。在之前的项目中，我可以使用java Apache Kafka API来实现这一点，但我看不到使用spring-kafka API的任何方法，因为它只允许通过Spring</

浏览 14提问于2021-05-25得票数 1

1回答

Spring Boot测微器Influxdb自定义数据插入

spring-boot、influxdb、spring-boot-actuator

我有一个从kafka主题消费数据的Spring Boot Application。我使用Micrometer和Influxdb进行监控。我在文档中读到，通过添加micrometer-registry-influx，我们可以自动将数据导出到InfluxDB。我对此有以下几个问题-

浏览 0提问于2021-07-08得票数 0

11回答

Spring Kafka这个类不在受信任的包中

java、spring-boot、apache-kafka、spring-kafka

在库更新之前的Spring / Kafka应用程序中，我使用以下类org.telegram.telegrambots.api.objects.Update将消息发送到Kafka主题。:221) ~[spring-kafka-2.1.8.RELEASE.jar!:699) ~[spring-kafka-2.1.8.RELEASE.jar!=${kafka.host}:${kafka.port

浏览 2提问于2018-08-04得票数 36

回答已采纳

1回答

如何实现多节点单kafka消费端app的负载均衡？

spring-boot、apache-kafka、load-balancing、spring-cloud

我有一个spring boot Kafka监听器，它可以监听单个主题和消费者列表。现在这个spring boot应用程序现在有3个节点。现在，我需要确保列表消息的数量均匀地负载到所有3个节点。我如何在我的应用程序中实现这一点？

浏览 1提问于2021-04-28得票数 0

1回答

camel kafka生产者异常登录模块控制标志在JAAS配置中不可用。

java、apache-kafka、apache-camel

jaas属性外部化，但是我仍然得到了相同的错误，不确定在jaas配置中缺少了什么，或者它是camel kafka依赖的问题。我正在使用下面的依赖图表camel版本2.25.4 <dependency> <artifactId>spring-boot<

浏览 19提问于2022-06-04得票数 0

2回答

Spring 5.X web Kafka集成使用xml配置(而不是Spring boot)

spring-integration、spring-kafka

我正在尝试使用xml配置在遗留web应用程序上设置kafka使用者，该应用程序运行的是Spring5.2发布项目(它不是Spring引导项目)。在查找之后，我发现了一个使用xml配置设置kafka消费者的项目，如下所示 https://docs.spring.io/spring-kafka/docs/1.3.11.

浏览 26提问于2020-11-08得票数 1

回答已采纳

2回答

Spring Cloud Data Flow (SCDF) + Apache Kafka -在哪里部署Kafka Broker？

java、apache-kafka、spring-cloud、spring-cloud-stream、spring-cloud-dataflow

我不确定我是否理解了Spring Cloud Data Flow (SCDF)和Apache Kafka Broker(及其相关的Zookeeper)之间的关系。我找到了很多关于如何使用Kafka的信息，但不知道在哪里运行/操作它。我的假设是否正确，即您必须独立于SCDF安装/管理/操作Kafka代理(+ Zookeeper)？SCDF“只是”使用Kafka代理进行内部通信，以及-可选的

浏览 0提问于2017-10-25得票数 1

1回答

在消费者端应用程序中没有接收到报头，使用kafka作为生产者和消费者端之间的中间件。

spring-boot、spring-cloud-stream、spring-kafka

我们已经实现了一个应用程序来生成消息和标题，并将其发送到kafka主题。消费者端应用程序正在聆听卡夫卡的主题。消费者端应用程序能够接收有效载荷，但是头不是received.Earlier，我们的头是在有效载荷属性中接收的。为了禁用将报头(包括contentType)嵌入到有效负载中，我们使用了spring.clou

浏览 2提问于2019-05-08得票数 0

1回答

为什么我的春季云流配置会创建多个kafka消费者？

spring-boot、spring-kafka、spring-cloud-stream

这不是一个大问题，但我很好奇，一些额外的流消费者来自哪里，如果这是一个设置，我可以改变。} 不过，当我运行这个应用程序时，我可以看到在输出中创建了3个消费者但是，当我检查本地代理中的消费者组成员时，它总是一

浏览 7提问于2021-04-14得票数 0

回答已采纳

1回答

如何在Spring* Boot中配置读取Kafka主题消息的频率(一天一次)*

spring-boot、apache-kafka、kafka-consumer-api

我正在尝试处理失败，并将消息写入failure-Q，以防消息在db期间由于db停机或任何其他问题而失败。# KAFKAkafka.topic.consumer.boot: tink_boot.j kafka.co

浏览 6提问于2020-03-27得票数 0

点击加载更多