Apache kafka与apache Avro

文章/答案/技术大牛

发布

1回答

Gradle将通过CLI而不是Intellij (实例方法不存在)

java、gradle、avro

| \--- org.apache.avro:avro:1.9.0 -> 1.9.1 (*)|:avro:1.9.1 (*)| | +--- org.apache.avro:avro</em

浏览 4提问于2020-07-28得票数 0

1回答

错误反序列化Avro消息-不能将java.nio.HeapByteBuffer转换为java.math.BigDecimal类

java、apache-kafka-streams、avro

我使用的是合流模式注册表和Avro。使用JDBC连接器将数据输入kafka，后者使用SMT来创建正确的avro模式。使用SpecificAvroSerde反序列化时会出现问题。因此，通常使用avro在流处理器中摄取数据、生成avro模式和使用流处理器的方法是可行的。与本例不同的是，该记录包含一个数组(某种主/详细记录)。我收到的例外是 org.apache.kafka.common.errors.SerializationException:

浏览 5提问于2022-06-07得票数 0

回答已采纳

1回答

通过kafka- Avro* -控制台-生成器生成avro序列化对象的问题*

apache-kafka、avro、oracle-golden-gate

我正在使用kafka-avro-console-producer二进制文件使用生成消息，方法是： at org.apache.avro.io.parsing.Parser.advanceat

浏览 1提问于2020-02-25得票数 1

回答已采纳

1回答

如何在Spring Cloud Stream中管理SerializationException

apache-kafka、spring-kafka、spring-cloud-stream

例如，反序列化Avro时出现此类型的异常： org.apache.kafka.common.errors.SerializationException: Error deserializing key/Caused by: org.apache.kafka.common.errors.SerializationException: Error deserializing Avro message forid 116 Caused by: org.apache.

浏览 28提问于2019-10-11得票数 0

1回答

Kafka:使用架构注册表序列化Avro消息时出错

scala、apache-kafka、avro

我正在尝试将我的自定义类型的ProducerRecord发送给Kafka，但是我得到了错误：Caused by: java.lang.IllegalArgumentException: Unsupported Avro typeProperties() props.put("bootstrap.se

浏览 9提问于2018-01-21得票数 1

回答已采纳

1回答

由: java.util.concurrent.ConcurrentHashMap.computeIfAbsent(ConcurrentHashMap.java:1760)上的递归更新:java.lang.IllegalStateException引起

java、apache-kafka、avro、confluent-platform

我正在学习Apache和来自的合流Kafka教程，并尝试从主题中读取avro流，并根据特定的条件将数据发送到不同的主题。at org.apache.avro.util.ClassUtils.forName(ClassUtils.java:95) ~[avro-1.11.0.jar:1.11.0] at org.apache.

浏览 11提问于2022-11-01得票数 0

2回答

为什么卡夫卡-阿夫罗-控制台-生产者不遵守该领域的默认值？

apache-kafka、avro、kafka-producer-api、confluent-schema-registry

虽然为字段定义了默认值，但kafka-avro-console-producer完全忽略它： at org.apache.avro.io.JsonDecoder.error(JsonDecoder.java:698) at org.apache.avro.io.JsonDecoder.readInta

浏览 0提问于2019-04-02得票数 3

回答已采纳

3回答

JsonMappingException:不是地图，不是数组，也不是枚举

json、spring-boot、rest、jackson、jackson-databind

我希望返回一个扩展avro模式的对象，并将HATEOAS链接添加到响应中。我做了一些调查，结果发现我需要对象的自定义序列化程序。当前对象是avro模式的扩展。ObjectMapper();} 其中用户数据是实际的avro此外，是否有更好的方法返回一个avro对象与其他参数相结合？

浏览 3提问于2020-03-16得票数 5

2回答

通过Apache* Camel消费Kafka的*Avro消息

apache-camel、unmarshalling、apache-kafka

我有一个Apache路径，将AVRO消息发布到Apache主题上。另一方面，我有第二条Apache Camel路由，它应该从上面的主题中使用，失败的原因是 org.apache.avro.io.BinaryDecoder.innerLongDecode(BinaryDecoder.java:217) at org.apache.avro.io.BinaryDecoder.readLong(BinaryDecoder.java:176) at org.

浏览 3提问于2015-04-20得票数 1

回答已采纳

2回答

如何在pyspark中从kafka中以字符串格式从Confluent Schema Registry获取Avro数据？

apache-spark、apache-kafka、avro、spark-structured-streaming、confluent-schema-registry

我正在从spark (结构化数据流)中读取Kafka中的数据，但在spark中从kafka中获取的数据不是字符串格式。org.apache.spark:spark-avro_2.11:2.4.0,org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.0,org.apache.spark:spark-streaming-kafka-0-8-assembly_2.11:2.3.4,org.apache</em

浏览 1提问于2019-12-27得票数 0

2回答

apache-kafka、schema、avro、confluent-platform

有没有人能告诉我们如何在Apache Avro.It中使用Apache Kafka，似乎只有Confluent平台支持模式注册表。

浏览 36提问于2021-03-17得票数 0

2回答

Java消费者和avro* deserialzier*

java、apache-spark、apache-kafka、avro

我配置了一个kafka连接器(postgres到topic)，我想用火花流消费者来阅读它。./kafka-avro-console-consumer --bootstrap-server localhost:9092 --property schema.registry.url=http://

浏览 0提问于2019-04-09得票数 2

回答已采纳

1回答

从AvroConverter开始时卡夫卡连接错误

cassandra、avro、apache-kafka-connect、confluent-platform

该主题具有由kafka流创建的avro文件的模式注册表。internal.value.converter=org.apache.kafka.connect.avro.AvroConverterand contains the following 1 error(s): Invalid value org.apache.kafk

浏览 1提问于2019-03-15得票数 3

回答已采纳

3回答

为什么我会得到这样的编译错误：“找不到kstream.Consumed的隐含值”，我如何修复它？

scala、apache-kafka、avro、apache-kafka-streams、jsonschema

我们有以下依赖关系： libraryDependencies += "org.apache.kafka" %% "kafka-streams-scala" % kafkaVersion因此，另一个依赖项是帮助AVRO GenericRecord到case类的映射和返回。我们还有一些手工编写的代码，可以从模式中生成case类，这似乎可以直接与spray json一起工作。导入方面，我们要导入隐含的内容： import org.apa

浏览 22提问于2020-04-08得票数 2

回答已采纳

1回答

春季kafka容器错误中的堆栈跟踪日志

java、spring、spring-boot、apache-kafka、spring-kafka

; nested exception is org.apache.kafka.common.errors.SerializationException: Error deserializing Avro(ResolvingDecoder.java:309) ~[avro-1.9.2.jar:1.9.2] a

浏览 0提问于2021-11-19得票数 2

1回答

Spark Batch Avro反序列化:格式错误的数据。长度为负数

apache-spark、avro、confluent-schema-registry、spark-avro

我正在通过Spark在Kafka上做一些批处理。与Avro一样序列化的记录。我试图使用消息本身中的确切模式来反序列化该值，但得到了一个格式错误的记录异常。但是，我得到了以下异常： Caused by: org.apache.avro.AvroRuntimeException: Malformed data.Length is negative: -20 at org.apache.avro.io.BinaryDecoder.doReadBytes(BinaryD

浏览 48提问于2021-08-30得票数 0

1回答

如何使流从卡夫卡主题到elasticsearch与汇合？

apache-kafka、avro、apache-kafka-connect、confluent-platform、ksqldb

： WITH ( VALUE_FORMAT-3, 7d12h100mbpressure_avro-2, 7d12h100mbpressure_avro-1, 7d12h100mbpressure_avro-0 (org.apache.kafka.client

浏览 0提问于2019-04-23得票数 1

回答已采纳

2回答

从主题创建表，LongDeserializer收到的数据大小不是8导致序列化异常

apache-kafka、ksqldb

:36)ksqldb-server | Caused by: org.apache.kafka.common.errors.SerializationException:88) ksqldb-server | org.

浏览 84提问于2020-08-29得票数 2

1回答

原因: org.apache.avro.AvroRuntimeException:格式错误的数据。长度为负数：-53

apache-kafka、apache-flink、avro、flink-streaming

尝试使用Flink读取"avro“序列化数据的Kafka流，如下所示： tableEnv.connect(new Kafka() at org.apache.flink.streaming.connectors.kafka.internal.Kafka09Fetcher.runFetchLoop(<

浏览 359提问于2019-06-05得票数 2

1回答

阿夫罗: org.apache.avro.AvroTypeException:预期很长。Got START_OBJECT

apache-kafka、avro

我正在开发一个Avro模式，并试图创建一个测试数据来用Kafa测试它，但是当我生成消息时得到了这样的错误：“由: org.apache.avro.AvroTypeException: Expected获得了START_OBJECT，整个错误消息如下所示： at org.apache.avro<

浏览 18提问于2022-01-11得票数 0

点击加载更多

Gradle将通过CLI而不是Intellij (实例方法不存在)

错误反序列化Avro消息-不能将java.nio.HeapByteBuffer转换为java.math.BigDecimal类

通过kafka- Avro* -控制台-生成器生成avro序列化对象的问题*

如何在Spring Cloud Stream中管理SerializationException

Kafka:使用架构注册表序列化Avro消息时出错

由: java.util.concurrent.ConcurrentHashMap.computeIfAbsent(ConcurrentHashMap.java:1760)上的递归更新:java.lang.IllegalStateException引起

为什么卡夫卡-阿夫罗-控制台-生产者不遵守该领域的默认值？

JsonMappingException:不是地图，不是数组，也不是枚举

通过Apache* Camel消费Kafka的*Avro消息

如何在pyspark中从kafka中以字符串格式从Confluent Schema Registry获取Avro数据？