1回答
我有一个系统将Avro数据推入到多个Kafka主题中。
在更改主题名称之后，我启动了kafka-connect-hdfs。这一步骤也是成功的。在此之后，我开始将数据推送给Kafka，但是<em
浏览 2提问于2017-01-20得票数 1
msg = kafka_consumer.poll(timeout=2.0)
如何通过Python confluent-kafka api使用Avro编码的消息？
浏览 2提问于2016-07-07得票数 0
我试图理解Kafka Streams API是如何与Schema Registry一起工作的。我知道在设置应用程序时必须指定Schema Registry URL，但我无法理解如果不指定主题名称或ID，应用程序如何从注册表检索正确的模式。
它使用主题名称检索模式？
浏览 2提问于2019-11-25得票数 2
我使用以下命令启动kafka连接器：Connect-Avro-Standalon.properties中的序列化道具是：
key.converter=io.c
浏览 0提问于2018-10-11得票数 0
回答已采纳
我正在学习Avro模式序列化的基础知识。我理解，键和值都可以有它们特定的Avro模式。然而，我感到困惑的是序列化过程实际上是如何工作的。或者，在向主题发布消息时指
浏览 5提问于2022-11-17得票数 0
回答已采纳
1回答
我正在尝试使用进行流媒体平台( Kafka / spark )的集成测试当我试图将消息放在零代码的Kafka
浏览 1提问于2019-09-18得票数 0
创建Kafka JdbcSinkConnector时出错(我的任务是将数据从Kafka主题传输到Postgres表)：
{ "connector.class&quo
浏览 3提问于2020-01-21得票数 0
回答已采纳
尝试使用来自控制台消费者的kafka Avro消息，但不确定如何反序列化消息。sh /usr/hdp/current/kafka-broker/bin/kafka-console-consumer.sh --bootstrap-server localhost:6667 --topic测试主题的架构注册表中的Avro架构为： "type": &quo
浏览 0提问于2020-04-02得票数 2
1回答
我正在尝试听一个话题，这个话题是我使用confluent的kafka连接功能发布的。但是，我无法对其进行反序列化。我相信它的avro序列化，但不能找到正确的反序列化。消息如下所示，如控制台主题所示
null {"c1":{"int":10},"c2":{"string":"foo"},"create_ts":1552598863000,"
浏览 1提问于2019-03-15得票数 1
因此，我有一个用例，其中有一个kafka连接器从kafka主题中消费一个avro字节数组，并将其转换为Avro对象。看起来很简单，但我意识到，如果反序列化由于某些原因而失败，比如不匹配模式或其他什么的话，那么处理的唯一选项要么记录错误，然后输出空字节数组，要么抛出错误(对于长时间运行的作业，我不认为这是个好主意)。但是，如果kafka连接器的反序列化器只是接收字节数组，输出它，下游处理函数进行验证和
浏览 0提问于2019-06-28得票数 1
回答已采纳
我正在尝试使用connect MongoDB kafka连接器接收器( MongoDB Connec-MongoDB-1.7.0)将avro事件从kafka写到MongoDB。我已经设置了一个模式注册中心，它可以与kafka消费者示例或我的自定义示例一起工作，它们都可以反序列化事件并打印它们。另一方面，当我运行连接器时，我会得到以下异常：
Subject '<my-avro-schema-name>-value&
浏览 4提问于2022-04-13得票数 0
2回答
反序列化Avro消息
、、、、
", "iterations": "999999999",}
2020-02-01 21:16:11,750在任务到-pg-0任务中遇到错误.使用类io.confluent.connect.avro.
浏览 0提问于2020-02-01得票数 3
回答已采纳
你好，im正在(反)序列化一个简单的avro模式和模式注册中心。设置：
目标:生产者应该发送一条用ConfluentRegistryAvroSerializationSchema序列化的消息，其中包括更新和验证模式。然后，使用者应该将消息反序列化为具有接收到的架构的对象。使用ConfluentReg
浏览 9提问于2021-06-01得票数 1
2回答
我有一个使用者，它使用两个不同的avro模式的两个主题。将来主题的数量可能会增加，因此合并要从多个主题读取的架构是不可伸缩的。from confluent_kafka import Consumer
msg = consumer.poll()
msg_value = message.value() #Should be in b
浏览 2提问于2022-07-29得票数 0
回答已采纳
我正在尝试阅读卡夫卡主题中的最后一条消息，使用ConsumerSeekAware.Message类型是Avro列表。我能成功地做到这一点。但在反序列化过程中，它是失败的。这条消息是使用spring云流-kafka框架生成的。我知道avro消息可以反序列化如下所示。我认为avro消息的内容类型是application/avro，但是当消息由s s生成时，则
浏览 4提问于2017-09-28得票数 1
我正在尝试调试为什么不可能反序列化我们通过Kafka接收的数据，并基于一些特定的模式使用avro序列化。
它看起来像这样。有一个用java编写的生产者，它根据某种avro模式序列化数据，将数据发送到Kafka主题，而在消费者端有一个用Golang编写的程序。但每次我尝试反序列化该数据时，我都会收到错误消息，指出无法反序列化，因为字符串的长度小于零。我在Kafka中使用了av
浏览 1提问于2021-09-12得票数 1
1回答
Avro -反序列化POJO
、、、、
我刚认识阿夫罗，卡夫卡花了几天时间发送卡夫卡主题的序列化数据.没有成功。在制片端，我通过SOAP接收数据，并发送关于Kafka主题的内容。我要做的是序列化由CXF解封的对象，并将它们发送到我的Kafka主题中。因此，我动态地获得消息类型(通过CXF拦截器)并以这种方式序列化：MessageContentsList
浏览 4提问于2015-05-26得票数 1
不理解语法，我应该如何定义阿夫罗反序列化器和使用在我的卡夫卡源，同时阅读。
浏览 12提问于2022-05-06得票数 0
我们使用Apache (而不是合在一起的kafka ) 0.10。我们希望用kafka设置AVRO模式。我有如下所示的avro模式。station", }, "name": "model", }序列化消息但是，希望在
浏览 2提问于2016-10-31得票数 0
回答已采纳
0回答
我有一个事件来源的应用程序建立在Kafka之上。目前，我有一个主题，其中包含多种消息类型。全部使用JSON序列化/反序列化。confluent的模式注册表看起来是一个很好的消息类型维护方法，并且通过Avro完全兼容模式，它还提供了一种在我的事件源应用程序中进行消息版本控制的机制。
用最新的 -- 升级到4.1.1融合。使用Avro序列化程序/反序列化程序，您可以在一个主题
浏览 3提问于2018-07-20得票数 6
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
