文章/答案/技术大牛

发布

社区首页 >问答首页 >可以用kafka REST代理读取二进制avro消息吗？

问可以用kafka REST代理读取二进制avro消息吗？
EN

Stack Overflow用户

提问于 2018-03-20 22:24:45

回答 2查看 1K关注 0票数 1

我不完全理解整个avro序列化生态系统是如何构建的。

最初我是这样想的：

然而，我试图发布一个二进制avro消息到一个主题，然后使用REST代理读取它，得到一个错误：{"error_code":50002,"message":"Kafka error: java.io.CharConversionException: Invalid UTF-32 character 0xa126572(above 10ffff) at char #1, byte #7)"}。

我哪里错了？

如果重要的话，我使用here中的示例来编写，使用here中的示例来读取。

rest

proxy

apache-kafka

avro

回答 2

Stack Overflow用户

发布于 2018-03-21 18:51:39

最后，我用wrong format (json instead of avro)定义了消费者。否则，一切都会按预期进行。感谢@cricket_007的提示。

在创建消费者时，我正在做

curl -X POST -H "Content-Type: application/vnd.kafka.v2+json" \
--data '{"name": "my_consumer_instance", "format": "json", "auto.offset.reset": "earliest"}' \
http://192.168.99.101:8082/consumers/my_json_consumer

而正确的版本是

curl -X POST -H "Content-Type: application/vnd.kafka.v2+json" \
--data '{"name": "my_consumer_instance", "format": "avro", "auto.offset.reset": "earliest"}' \
http://192.168.99.101:8082/consumers/my_json_consumer

票数 1

Stack Overflow用户

发布于 2018-03-21 00:33:22

使用Kafka命令行工具为新主题生成新的Avro消息并重新阅读：

/usr/bin/kafka-avro-console-producer生成Avro消息。

使用Avro消息的/usr/bin/kafka-avro-console-consumer。

这些工具在这里的快速入门中有说明：https://docs.confluent.io/current/quickstart.html

一旦你让它工作，然后确保你的自定义客户端与官方命令行生成器一起工作，并确保你的自定义生成器与官方命令行客户端一起工作。

如果你把它分解成这样的小步骤，你就会确切地看到你的问题所在，有更狭义的问题要解决。

票数 -2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/49386858

复制

相似问题

问可以用kafka REST代理读取二进制avro消息吗？
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问可以用kafka REST代理读取二进制avro消息吗？EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问可以用kafka REST代理读取二进制avro消息吗？
EN