如何将Spring Cloud Stream Kafka与Confluent Schema Registry结合使用？
Spring Cloud Stream是一个用于构建消息驱动的微服务的框架，而Kafka是一个分布式流处理平台，用于高吞吐量、可扩展的数据流处理。Confluent Schema Registry是一个用于管理Avro、JSON等数据格式的Schema的服务。
将Spring Cloud Stream Kafka与Confluent Schema Registry结合使用可以实现以下优势和应用场景：
优势：
- 数据格式的版本管理：Confluent Schema Registry可以管理不同版本的数据Schema，确保数据的兼容性和一致性。
- 数据格式的演化：通过Schema Registry，可以对数据格式进行演化，而不影响已经存在的消费者和生产者。
- 数据的序列化和反序列化：Schema Registry可以将数据序列化为二进制格式，并在消费者端进行反序列化，提高数据的传输效率。
应用场景：
- 事件驱动架构：通过Spring Cloud Stream Kafka和Confluent Schema Registry，可以构建基于事件驱动的微服务架构，实现松耦合的服务间通信。
- 实时数据处理：Kafka作为分布式流处理平台，可以处理大规模的实时数据流，而Confluent Schema Registry可以确保数据格式的一致性和演化。
- 数据集成和转换：通过Spring Cloud Stream Kafka和Confluent Schema Registry，可以将不同数据源的数据进行集成和转换，实现数据的统一处理和分发。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云消息队列 CMQ：https://cloud.tencent.com/product/cmq
- 腾讯云流计算 TCE：https://cloud.tencent.com/product/tce
- 腾讯云数据集成 DTS：https://cloud.tencent.com/product/dts
- 腾讯云云原生应用引擎 TKE：https://cloud.tencent.com/product/tke
需要注意的是，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行评估和决策。
相关·内容
到目前为止，我一直在研究spring云模式注册表和confluent模式注册表。我可以看到一些区别，比如spring云模式注册表将模式保存在普通数据库中，默认情况下保存在h2中，而confluent模式注册表保存在kafka topic中。对于spring云模式注册表，这种方法有没有性能影响？据我所知，即使数据被保存在主题上，如果是合流的情况下，查询仍然会有延迟。但是会有很大的影响吗？我还可以看到，spring云模式注册中心提供了对confluent模
浏览 26提问于2021-06-29得票数 0
1回答
我很难弄清楚如何测试使用Avro作为消息格式和(合流)模式注册表的应用程序。配置可以如下所示： application: cloud: schema-registry-client$IntegerSerde registry:
u
浏览 0提问于2019-07-31得票数 1
回答已采纳
我有一个使用Kafka Streams绑定器的Spring cloud stream的项目。我可以在Confluent Schema Registry中使用它。序列化和反序列化是正确发生的。但是，我想看看我们是否可以使用 Spring Cloud Schema Registry Server 而不是 Confluent 的。当我
浏览 107提问于2020-09-24得票数 0
回答已采纳
在使用spring-cloud-stream-binder-kafka时，我在配置到Confluent的连接时遇到问题。也许有人能看到哪里出了问题？当我使用来自的示例时，它工作得很好，并且我可以在Confluent Cloud上看到消息
但是，当使用spring-cloud-stream-binder-kafka配置添加相同的连接详细信息时，它会
浏览 0提问于2020-05-27得票数 2
1回答
我目前有这样的配置： spring.cloud.stream.binders.some-kafka-binder.type=kafka
spring.cloud.stream.binders.some-kafka-binder.environment.spring.cloud.stream.kafka.binder.brokersspring.<
浏览 22提问于2021-10-18得票数 1
1回答
到目前为止，我们可以看到Spring与汇流序列化器一起工作，而与汇流序列化器给我们带来了问题。与Spring和合流
kafkabindings: producer:
浏览 0提问于2019-05-02得票数 1
回答已采纳
我正在寻找一个简单可行的示例，它使用Spring Cloud Stream Kafka和Confluent Schema Registry (生产者和消费者)。在之后，我添加了以下代码，但它不起作用。@Bean
public SchemaRegistryClient schemaRegistryClient(@Value("${spring.cloud.stream.schemaRegis
浏览 3提问于2017-12-04得票数 1
回答已采纳
我正在使用spring云流并试图发布avro消息，但是得到了上述异常，spring.cloud.stream.bindings.feed-output-channel.producer.useNativeEncoding=headers['kafka_messageKey']
spring.cloud.stream.kafka.bindings.feed-output-chan
浏览 14提问于2022-01-21得票数 0
回答已采纳
2回答
绑定器中定义spring云流的序列化程序和反序列化器：spring: web-application-type: NONE cloud: endpoint: ${schema_registry}
stream:/current/insta
浏览 23提问于2020-11-12得票数 1
我正在使用spring 2.6.3 EmbeddedKafka和Junit 5编写一个spring引导集成测试，用于使用avro消息的拓扑结构。Avro unknown schema for id 1
Caused by: java.io.IOException: Cannot get schema from schema registry!(MockSchemaRegistryClient.java:232) ~[kafka-<em
浏览 9提问于2021-01-10得票数 3
我的SpringBoot2.3.1应用程序与SCS Hoshram.SR6是使用卡夫卡流绑定。我需要添加一个卡夫卡生产者，将在应用程序的另一部分使用，所以我添加了卡夫卡活页夹。(KafkaTopicProvisioner.java:319)spring: function: registry:
u
浏览 22提问于2020-07-26得票数 1
回答已采纳
这将在Kafka中使用属性key.subject.name.strategy和value.subject.name.strategy -> 来完成。到目前为止，我已经在一位制片人中尝试过这个： application: cloud:
stream显然，Spring使用了它自己的主题命名策略，接口是org.springframework.<
浏览 0提问于2019-04-24得票数 5
回答已采纳
1回答
在使用ErrorHandlingDeserializer结合Avro处理错误时，我无法发布到Dlq主题。下面是发布时的错误。 cloud
浏览 3提问于2022-03-02得票数 0
回答已采纳
我希望使用ErrorHandlingDeserializer来处理反序列化错误，并使用spring云流绑定器kafka将错误记录发送到Kafka绑定器error.<destination>.value.serializer: io.confluent.kafka.serializers.KafkaAvroSerializer schema
浏览 4提问于2021-09-12得票数 0
我正在尝试测试一个配置了以下绑定的应用程序： cloud: bindings: brokers: ${KAFKA_BOOTSTRAP_ADDRESSES} schema.registry.url: ${KAFKA_SCHEMA_REGIS
浏览 0提问于2019-06-20得票数 0
我正在使用avro生成一个java类( Heartbeat )，并且我正在使用Spring云消息处理器，以便通过此Heartbeat类将消息推送到kafka。=application/*+avro
spring.cloud.stream.kafka.binder.producer-properties.schema.registry.url=http://localhostspr
浏览 1提问于2021-05-28得票数 0
1回答
value.serializer: io.confluent.kafka.serializers.KafkaAvroSerializer
schema.registry.urlimplementation ("org.springframework.cloud:spring-cloud-stream-binder-kafka-streams:3.2.4")// https
浏览 7提问于2022-09-06得票数 0
回答已采纳
1回答
我试图使用函数编程(和spring云流)从输入主题转换输入AVRO消息，并在输出主题上发布新消息。这是我的application.yml文件： cloud: function: value.deserializer: io.confluent.kafka.serializers.KafkaA
浏览 5提问于2021-04-06得票数 1
我们在Spring Cloud Stream中使用Kafka，我们需要连接到Spring Boot组件中的Confluent Schema Registry，请参阅。我们添加了以下配置来创建所需的ConfluentSchemaRegistryClient bean，请参阅，它将覆盖Spring Cloud Stream中的默认模式注册表。Message to channel
根本原
浏览 0提问于2018-11-06得票数 2
: test-applicationspring.kafka.properties.schema.registry.url: http://schema-registry-svc:8081
spring.cloud.str
浏览 82提问于2020-05-20得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
