我使用汇合JDBC连接器将消息发布到主题中。源连接器将在每次轮询中向主题发送数据和架构。我想检索这个架构。
有可能吗?多么?有人能给我建议吗
我的目的是创建一个KSQL流或基于模式构建的KSQL流或表,由Kafka连接器进行投票。
发布于 2018-11-22 13:18:42
最好的方法是使用Avro,其中模式分别存储,由Kafka和KSQL自动使用。
您可以通过配置Kafka来使用AvroConverter来使用Avro。在您的Kafka Connect工作者配置集中:
key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://schema-registry:8081(将schema-registry更新为运行模式注册表的主机名)
从那里开始,在KSQL中您只需使用
CREATE STREAM my_stream WITH (KAFKA_TOPIC='source_topic', VALUE_FORMAT='AVRO');您不需要在这里指定模式本身,因为KSQL从获取它。
您可以阅读更多有关转换器和序列化程序这里的信息。
免责声明:我为合流工作,并写了参考博客文章。
https://stackoverflow.com/questions/53425385
复制相似问题