反序列化Kafka消费者中的avro消息时，出现内存不足的堆空间异常。使用本地的kafka生产者和消费者运行Java语言的消费者代码，我试图在IntelliJ中将堆内存增加到10 to，但仍然遇到这个问题。，我在其中编写了在处理后将数据包转换为普通类的类。Avro反序列化程序代码： public T deser
浏览 69提问于2019-05-03得票数 2
我尝试了官方的示例(消费者/生产者)与我本地安装的confluent 4.0.0，它可以在发送post请求和在侦听器中接收时发送“传感器”avro消息，但当我使用confluent 4.0.0附带的kafka- avro -console-consumer工具查看发送的avro消息时，该工具引发了以下错误(a)。我也尝试使用kafka- avro -console-producer工具发送
浏览 3提问于2018-08-26得票数 1
1回答
为了更好地了解平台，我从几天以来一直在玩卡夫卡的合流版本。对于发送到一个主题的一些格式错误的avro消息，我得到了一些序列化异常。>意图:非常简单，生产者正在发送Avro记录，并且使用者应该使用所有记录而不存在任何问题(它可以将所有与模式不兼容的消息保留在模式注册表中，我能够使用这些消息而不会出现任何问题。
浏览 2提问于2017-05-12得票数 5
回答已采纳
我正在将来自卡夫卡主题的消息存储在KeyValueStore中，以便以后查询它们。：spring.cloud.stream.kafka.streams.bindings.input: consumer: materializedAs: all-messagesvalue-serializer: com.me.MyMessageSerializer
但是，当我从KeyValueStore读取键时，键作为String正确地返回，但是返回的
浏览 1提问于2019-07-03得票数 1
回答已采纳
每当我试图阅读kafka队列中的消息时，我都会得到以下例外：java.lang.ClassCastException: org.apache.avro.generic.GenericDatatopicCountMap
浏览 2提问于2017-02-13得票数 6
回答已采纳
我正在尝试理解如何在Spring Cloud Stream中管理org.apache.kafka.common.errors.SerializationException。如果我很好地理解，RetryTemplate只考虑应用程序错误(发生在@StreamListener中)，所以即使对它进行自定义配置也是无用的。我想知道最好的方法是什么，因为在默认配置下，应用程序被无数次尝试读取消息。例如，反序列化Avro时出现此类型的异常： org.apache.
浏览 28提问于2019-10-11得票数 0
1回答
我想使用avro模式中自动生成的java类来使用kafka消息。不幸的是，avro模式没有定义名称空间(并且模式的所有者有点不愿意添加名称空间)。如果我使用avro插件生成类，它们最终会出现在根包中。因此，我似乎无法在我的java类中导入和使用它们。我有以下想法：
在生成类时配
浏览 11提问于2022-11-14得票数 0
回答已采纳
4回答
我有一个问题，反序列化来自卡夫卡主题的信息。这些消息已经使用spring云流和Apache序列化。我正在使用Spring阅读它们，并试图对它们进行反序列化。如果我同时使用spring来生成和使用消息，那么我可以很好地反序列化这些消息。问题是当我用Spring消费它们，然后尝试反序列化。很难将所有相关代码都发布在这个问题上，所以我已经将其发布在git中心的回购程序中：。kafka:
boots
浏览 0提问于2019-01-30得票数 3
回答已采纳
我想使用avro消息并反序列化它们，而不使用Confluent模式注册表。我在本地有这个模式。因此，我只遵循了这个面向消费者的https://medium.com/@mailshine/apache-avro-quick-example-in-kafka-7b2909396c02部分。现在，我想在application.properties文件中配置这个反序列化程序( Spring boot的方式)。我尝试添加spring.<em
浏览 90提问于2021-09-15得票数 0
我正在尝试使用Confluent InfluxDB Sink Connector将来自kafka主题的数据放入我的InfluxDB中。首先，我使用nifi将日志文件中的数据传输到kafka topic，效果良好。org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:175)
at org.apache.kafka.connect.runtime.WorkerTask.run/bin/
浏览 37提问于2019-03-19得票数 0
回答已采纳
1回答
在我的Kafka Listener被击中之前，我得到了一堆反序列化的失败。我正在研究Gary Russel构建的东西，但在让它工作时遇到了问题。我所有的东西都是通过属性文件配置的。我的最终目标是让任何反序列化异常命中我拥有的某个自定义类，这样我就可以处理我想要做的事情。也就是说，转发到我的死信处理程序，它会将失败的数据上传到s3。spring.kafka.consumer.properties.spring.json.trusted.
浏览 21提问于2021-01-07得票数 0
回答已采纳
我们在Spring Cloud Stream中使用Kafka，我们需要连接到Spring Boot组件中的Confluent Schema Registry，请参阅。我们添加了以下配置来创建所需的ConfluentSchemaRegistryClient bean，请参阅，它将覆盖Spring Cloud Stream中的默认模式注册表。然而，在一些部署之后，我们断断续续地看到以下失败。DefaultSchemaRegistryClient正被AvroSchemaRegistryClientMessage
浏览 0提问于2018-11-06得票数 2
1回答
我从机器中读取数据，并将其作为JSON流到kafka主题。我想阅读这个主题，并将流数据存储到elasticsearch中。19 key.ignore=true21 type.name=kafka-connect
在此之后，我期待ES中的流，-1, 7d12h100mbpressure_avro-0 (org.apache.kafka.clients.consum
浏览 0提问于2019-04-23得票数 1
回答已采纳
我试图使用Confluent Kafka REST代理从我的一个主题中检索Avro格式的数据，但不幸的是我得到了一个反序列化错误。我正在使用以下命令查询Kafka REST代理http://localhost:8082/consumers/my-group/instances/
浏览 1提问于2019-03-08得票数 1
我正在尝试使用Spring Cloud Stream创建一个简单的功能bean，它处理来自KStream和GlobalKTable的消息，连接它们，聚合它们，并将结果输出到一个新的流中，但我在正确配置它所需的-0.consumer.key-serde: io.confluent.kafka.streams.serdes.avro.GenericAvroSerde
spring.cloud.stream.kafka.streams.bindings.joinAndAggregate-in(
浏览 82提问于2020-05-20得票数 1
回答已采纳
1回答
我从连接器中获得了模式，并使用avro maven插件为它生成了一个POJO类。当我不使用avro反序列化数据时，我将接收数据，但无法读取。中，我添加了反序列化器和模式注册表url。= http://localhost:9092 spring.kafka
浏览 1提问于2021-06-18得票数 1
回答已采纳
我已经使用以下序列化程序序列化了avro数据。deserialize data '" + Arrays.toString(data) + "' from topic '" + topic + "'", ex); }但是现在，当我试图反序列化数据时(AbstractConfig.java:406) ~[kafka-clients-2.7.0.jar:na]
at org.
浏览 4提问于2021-03-12得票数 0
回答已采纳
因此，我想从kafka (Confluent)中读取一个主题，其中的数据是Avro格式的。 由于某些不可避免的原因，我想禁用证书验证。': 'false' 现在，我在尝试使用Schema注册表反序列化该值时遇到了一个问题。avro反序列化程序需要模式注册表客户端和模式(可选)。我两个都通过了。通过使用verify=False发出单独的请求来获取模式，我获得了第二个参数的值，这很好用。但是当我试图创建一个反
浏览 69提问于2021-09-10得票数 0
回答已采纳
2回答
我正在尝试使用来自kafka主题的合流avro消息，作为带有spring 2.0的Kstream。
我能够将消息作为MessageChannel来使用，而不是以KStream的形式使用。:失败配置值serde类io.confluent.kafka.streams.serdes.avro.SpecificAvroSerde at org.apache.kafka.streams.StreamsConfig.defaultValueSerdeconsumer.internals.Consum
浏览 2提问于2019-11-25得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
对象存储
云直播活动推荐
腾讯云开发者
