我试图理解Kafka Streams API是如何与Schema Registry一起工作的。我知道在设置应用程序时必须指定Schema Registry URL，但我无法理解如果不指定主题名称或ID，应用程序如何从注册表检索正确的模式。
它使用主题名称检索模式？
浏览 2提问于2019-11-25得票数 2
如何发布附件 (pdf，xls，xml，jpg.)卡夫卡主题。目前，我们正在宣传卡夫卡的阿夫罗格式。AVRO支持将文件附加到其中吗？
浏览 1提问于2020-07-13得票数 0
回答已采纳
场景: Apache Flink、Kafka、Protocol buffers data consumer。数据来源为协议缓冲区格式的Kafka主题(多个主题: topic#1、topic#3、topic#3)。使用者是Apache Flink使用者。每个主题都有一个独特的协议定义。，将Kafka中的数据摄取到数据库中。如何为Apache Flink实现一个通用的protobuf反
浏览 13提问于2021-04-03得票数 0
1回答
我正在接收kafka主题上的字节数据，这些字节可以使用普通的Java Serialization、JSON serialization或protocol buffer发送(由应用程序发送)。那么，现在当我的应用程序从kafka主题中读取这些字节时，它如何知道使用了哪种序列化技术，可以是：Java Serialization、JSON Serialization、Protocol Buffer“序列化格式</e
浏览 16提问于2019-07-14得票数 3
2回答
我想知道我们在Kafka主题中可以有什么类型的数据。据我所知，在应用程序级别，这是一个键-值对，这可能是该语言支持的数据类型。例如，我们向主题发送一些消息，可以是一些json、parquet文件、序列化数据，还是只像纯文本格式那样操作消息？
谢谢你的帮助。
浏览 12提问于2017-07-09得票数 12
回答已采纳
javascript包可用于序列化和反序列化发布到Kafka主题的消息。不幸的是，它只支持AVRO格式。是否有类似的包支持JSON序列化？
浏览 11提问于2022-07-30得票数 -1
回答已采纳
除了使用Confluent Schema Registry之外，有没有办法(通过内置的CLI工具)查看主题的键和值的序列化格式？
浏览 8提问于2020-03-03得票数 0
回答已采纳
1回答
例如，我们有一个用例，在该用例中，我们以格式A接收来自主题的数据，但希望将其流到两个位置，一个是格式A，另一个是格式B。在一个连接器中可以做到这一点吗？
浏览 1提问于2017-10-12得票数 0
回答已采纳
我正在学习Avro模式序列化的基础知识。我理解，键和值都可以有它们特定的Avro模式。然而，我感到困惑的是序列化过程实际上是如何工作的。或者，在
浏览 5提问于2022-11-17得票数 0
回答已采纳
使用Java Client producer，可以在发布到主题之前对消息进行微调以符合模式格式。使用kafka rest proxy，如果消息无法用kafka avro模式版本反序列化，如何拒绝消息？这是为了防止不符合模式的客户端添加垃圾。我看到这个版本会自动升级到一个主题的新模式。如何限制消息发布到主题？这可能是由于所有bug的生产者客户端。
我正在搜索文档，我刚开始学习卡夫卡。
浏览 33提问于2019-11-22得票数 0
我有一个架构，我们有两个独立的应用程序。原始源是一个sql数据库。App1监听CDC表以跟踪该数据库中表的更改，并对这些更改进行规范化和序列化。它将这些序列化的消息发送到Kafka主题。App2监听该主题，将消息调整为不同的格式，并通过HTTP将这些经过调整的消息发送到各自的目的地。看起来，Kafka流api是针对单个应用程序的，该应用程序从<e
浏览 0提问于2019-05-09得票数 2
回答已采纳
我已经将Kafka连接工作人员配置为在集群中运行，并能够获取DB数据。此外，我还以JSON格式以Kafka主题存储DB数据。这里我使用JSON转换器来序列化数据是否有任何方法在连
浏览 2提问于2019-10-01得票数 0
回答已采纳
当试图在ksql上创建ElasticSearch接收器连接器时，我得到了以下错误：导致: org.apache.kafka.common.errors.Seri
浏览 3提问于2022-01-01得票数 0
回答已采纳
当卡夫卡主题被用来创建主题时，这是否也为"topicName-value"等创建了相关的主题？然而，执行卷曲：
curl -X POST -H "Content-Type: application/vnd.kafka.avro.v2+json" -H "Accept: application/vnd.kafka.v2+json" --data '{"value_sc
浏览 3提问于2019-12-17得票数 1
我正在尝试使用apache的WriteToKafka类(python )编写一个流到Kafka主题。但是，它无休止地运行脚本(没有错误)，并且不向主题写入流。我必须取消运行，它不会停止，不会产生错误。任何帮助都是非常感谢的。下面可以找到一个很小的例子来重现问题import os
from apache_beam.options.pipeline_optionsimport Pipe
浏览 7提问于2022-07-06得票数 0
2回答
我正在开发的Flink消费者应用程序从多个Kafka主题中读取。在不同主题中发布的消息遵循相同的模式(格式化为Avro)。对于模式管理，我使用的是合流模式注册表。ConfluentRegistryAvroDeserializationSchema.forSpecific(MyObject.class, SCHEMA_REGISTRY_URL))现在，我想确定我处理的每一条消息<em
浏览 28提问于2022-04-25得票数 2
1回答
我能够将CSV数据转换为ORC格式。但是为了满足新的需求，我的应用程序需要序列化输入数据，这些数据可以是任何格式，如CSV、Avro等。转换成ORC writer可理解的格式，并将其写入kafka主题。稍后，我的应用程序或其他应用程序需要从kafka主题中读取这些数据，并将其写入ORC文件。输入数据被封装在一个对象中作为属性，同一对象具有定义为另一个属性的ORC模
浏览 63提问于2018-07-31得票数 0
我们正在使用Kafka作为微服务之间的消息传递系统。我们有一个kafka消费者在听一个特定的主题，然后将数据发布到另一个主题中，由Kafka连接器负责将其发布到一些数据存储中。我们使用Apache作为序列化机制。DataThrottling格式Bad格式坏消息数量大，因此
浏览 7提问于2021-01-16得票数 9
回答已采纳
1回答
为了满足服务的可靠性，我需要使用kafka-smallrye和quarkus将无法反序列化的所有传入消息推入死信主题。主题上的所有消息都应该是avro格式(但我不能确定)，在模式注册中心上有一个定义模式。我已经以这样的方式设置了我的使用者的配置： messaging: test-in:
connector: smallrye-<em
浏览 11提问于2020-11-12得票数 1
回答已采纳
1回答
我正在通过docker使用kafka环境。它正确地上升了！我正在尝试阅读在流媒体上收到的所有消息！[2021-05-18 02:07:12,184] INFO Kafka version: 6.1.1(org.apache.kafka.common.utils.AppInfoParser)
浏览 100提问于2021-05-18得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
