1回答
我使用Debezium SQL Server Connector进行更改数据捕获，连接器自动生成模式并在模式注册表中注册该模式，这意味着我没有avro模式文件。在这种情况下，我如何编写一个使用此模式读取数据的消费者？我见过很多使用avro模式文件为消费者读取数据的文章，并且在模式注册表中只有一
浏览 33提问于2021-02-05得票数 0
回答已采纳
我需要记录到达Kafka使用者的消息，因为对于Kafka消费者，没有Avro模式兼容性。我想，默认情况下，Avro不兼容的消息永远不会到达我的Kafka消费者代码。我使用Spring的@KafkaListener。
浏览 11提问于2021-12-07得票数 0
我想使用apache在kafka主题中生成一些通用数据，我希望这些数据是avro格式的。我为它所做的：
由: org.apache.kafka.common.error
浏览 1提问于2018-10-09得票数 1
回答已采纳
1回答
我是kafka的新手，.Here是我对不断变化的kafka模式的疑问。我很有兴趣知道全行业的实践来处理这种情况。
我不会为avr
浏览 0提问于2020-04-26得票数 0
1回答
背景:我使用SpringKafka来实现基于Avro的消费者和生产者。其他重要组件: Kafka-Broker、Zookeeper和Schema-注册表在码头容器中运行。这对我来说很好。我想要的是:我想要一个Kafka Avro反序列化器(在使用者中)，它应该独立于模式注册中心。在我的例子中，我有一个不会更改的
浏览 9提问于2022-04-26得票数 0
回答已采纳
我试图用avro消息生产者、kafka和avro消费者构建一个使用spring引导、spring云流模式注册表和kafka绑定器的工作示例。o.s.c.s.b.k.KafkaMessageChannelBinder :无法使用contentType java.lang.NullPointerException反序列化io.igx.android.Sensor
我有消费者端的spring.cloud.
浏览 6提问于2017-03-09得票数 1
2回答
我正在写一个kafka消费者，应该反序列化来自avro的传入消息。我确实有消息的模式，我想知道在vanilla kafka中反序列化这些消息的最好方法是什么。我搜索了一段时间，但我看到的所有示例都是针对文件反序列化的，比如这个http://avro.apache.org/docs/1.9.
浏览 33提问于2020-08-07得票数 2
我使用的是kafka-avro-serializer-6.0.0.jar。当我遇到反序列化事件的异常时，我的使用者会停止并且不会移动到下一个事件。这些问题通常是由生产者的错误引起的，并且由于使用新的avro模式注册服务器的问题而发生。示例：
org.apache.kafka.common.errors.SerializationException
浏览 0提问于2020-11-29得票数 0
1回答
在运行kafka消费者时，我得到了以下错误：Caused by: org.apache.avro.AvroTypeException: Invalid default for field key_id(Schema.java:1512)
at org.apache.
浏览 1提问于2019-07-18得票数 6
回答已采纳
1回答
我正在做一些关于Kafka和Avro的研究，我有一个关于如何使用Kafka处理异构消息的问题。
为每个架构创建一个主题？但如果我们有更多的模式听起来不是个好主意..。将模式名称(或像email_sent或user_logged_in这样的标
浏览 2提问于2015-07-08得票数 0
为了测试目的，我们需要从Kafka主题导出生产数据:数据是用Avro编写的，模式被放在schema注册表中。我们甚至不知道要选择哪个解析选项(不是avro，不是json)
浏览 0提问于2018-03-03得票数 1
1回答
我正试图使用apache-kafka二进制文件中的kafka-控制台-生产者来生成消息，并在春季启动时从消费者设置中消费。使用者使用avro架构。当以json格式生成消息时，我的使用者抛出异常--“无法序列化”。
我找到了一个解决方案来使用“7.1”，其中有kafka-avro-console-producer。它支持avro，但它是企业版。是否有一种方法可以使用apache-<e
浏览 6提问于2022-04-26得票数 0
回答已采纳
1回答
我们有多个版本的主题模式，消息采用AVRO格式。 据我所知，当消费者收到AVRO消息时，消息本身包含一个id，该id将用于从模式注册表中检索模式，并在本地缓存以供将来参考。我很想知道是否有一种方法可以绕过这个id查询，并且总是使用一个预先获得的模式(例如最新的模式)来解析消费者端的所有消息？我们使用的反序列化程序是io.conf
浏览 25提问于2021-09-17得票数 0
我正在尝试创建一个kafka avro序列化主题的flink消费者。我有kafka主题流式avro序列化数据。我可以通过avroconsoleconsumer看到它。我有一个通过avro-tools生成的avro类。
现在，我一直在尝试遵循现有的例子，但它们之间的差异足够大，以至于我无法让事情继续下去。jar生
浏览 15提问于2018-08-20得票数 0
1回答
我有一个java kafka streams应用程序，它使用由C#应用程序产生的avro事件。在C#上，它是一个内置的avro库。对于日期类型字段，它在没有logicalType的情况下生成avro模式到{ "name": "dateOfBirth", "type": "int" }。显然，这会给java消费者带来麻烦。我</em
浏览 0提问于2020-05-13得票数 0
1回答
当我尝试使用我各自的模式对数据运行时，它返回错误"AvroRuntimeException:格式错误的数据。长度为负：-40“。我看到其他人也遇到过类似的问题：、和。我还引用了这个，它们都很有帮助，但是到目前为止对这个错误没有任何帮助。它一直运行到这部分代码(第73行)我已经尝试了其他解码器，并打印出了avro
浏览 0提问于2016-03-16得票数 11
回答已采纳
1回答
我试图使用avro模式将数据从logstash发送到kafka。我的logstash输出看起来如下： codec => avro { }}
我的
浏览 5提问于2020-04-22得票数 1
回答已采纳
在我们的一个项目中，我们正在使用Kafka和AVRO在应用程序之间传输数据。将数据添加到AVRO对象，并对对象进行二进制编码以写入Kafka。我们使用二进制编码，因为与其他格式相比，它通常被认为是最小的表示形式。
数据通常是JSON字符串，当数据保存到文件中时，它最多使用10Mb的磁盘。但是，当文件被压缩(.zip)时，它只使用很少的KB。我们关心的是将这些数据存储在Kafka中，因此在写入Kafka</em
浏览 1提问于2014-11-03得票数 18
回答已采纳
2回答
我们需要手动缓存模式注册表吗？
、、、、
我们目前正在使用协议缓冲区作为kafak消息的序列化机制。我们要搬到阿夫罗去。我们用Schema测试了Avro汇合消费者，根据这些测试，Avro使用者与原型消费者相比有点慢。我的问题是，我们需要手动兑现模式还是Python AvroConsumer自行处理现金？我用的是confluent_kafka AvroConsumer。
浏览 0提问于2018-05-04得票数 0
回答已采纳
假设我在向kafka发送数据时使用了Avro序列化。 在使用Apache Kafka的记录时，我同时获得了模式和记录。我可以使用模式来解析记录。我不明白为什么消费者会使用不同版本的模式来反序列化记录。有人能帮帮忙吗？
浏览 12提问于2020-09-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
实时音视频活动推荐
腾讯云开发者
