功能说明
CKafka Schema Registry 是消息队列 CKafka 版自研并托管的 Schema 管理服务,用于集中管理消息的数据结构。您可以为消息定义字段及其类型,并在结构变更时检查新旧版本的兼容性,降低生产者和消费者因消息格式不一致而导致的解析失败风险。
CKafka Schema Registry 支持 Avro、JSON Schema 和 Protobuf 格式,可通过控制台管理,也可通过 Schema Registry 客户端组件接入,无需自行部署和维护服务。
说明:
本服务为 CKafka 自研实现,支持 Confluent 客户端接入,具体客户端版本、能力等支持范围和使用限制以 CKafka 文档说明为准。
仅开启 Schema Registry 或在控制台创建 Schema,不会自动改变已有消息的格式。生产者和消费者还需要配置对应的序列化器、反序列化器及 Schema Registry 接入信息。
开通与费用说明
开通方式:Schema Registry 当前为白名单功能。如需使用,请 提交工单 申请开通白名单。
费用说明:Schema Registry 目前处于公测阶段,暂不收费。同一账户最多为5个实例开通 Schema Registry。
适用场景
统一数据结构:生产者和消费者由不同团队维护时,通过 Schema 约定消息字段及其类型。
管理结构变更:业务需要新增或调整字段时,在发布前检查兼容性,降低影响现有消费者的风险。
集中维护 Schema:统一查看和管理消息 Key、Value 的 Schema 及历史版本,减少分散维护成本。
基本概念
概念 | 说明 |
Schema | 消息的数据结构定义,例如订单消息包含订单号和金额两个字段。 |
Subject | Schema 的版本管理范围。同一 Subject 下的 Schema 按版本管理,并使用同一兼容性策略。 |
版本(Version) | 同一 Subject 下的 Schema 版本编号。首次注册生成版本1,后续注册不同的 Schema 时生成新版本。 |
Schema ID | Schema 在当前 Schema Registry 中的标识,客户端通过该标识获取 Schema。Schema ID 与版本号不是同一概念。 |
兼容性策略 | 注册新版本时,新 Schema 与已注册 Schema 之间需要满足的兼容规则。 |
控制台按 Topic 分别管理消息 Key 和 Value 的 Schema,使用以下 Subject 名称:
消息部分 | Subject 命名规则 | 示例(Topic 名称为 orders) |
Key | <Topic 名称>-key | orders-key |
Value | <Topic 名称>-value | orders-value |
Key 和 Value 的 Schema 独立管理,您可以只为其中一项配置 Schema。
工作方式
1. 生产者通过序列化器向 Schema Registry 查询或注册 Schema,按照 Schema 将业务数据转换为消息。
2. 消息写入 CKafka Topic。
3. 消费者通过反序列化器获取对应的 Schema,将消息解析为业务数据。
兼容性策略
默认策略为 Backward。下表中的“最新版本”指注册新 Schema 前,该 Subject 最新的已注册版本。
策略 | 说明 |
BACKWARD(默认) | 使用新 Schema 的消费者可以读取按上一版本 Schema 写入的数据。 |
BACKWARD_TRANSITIVE | 使用新 Schema 的消费者可以读取按所有历史版本 Schema 写入的数据。 |
FORWARD | 使用上一版本 Schema 的消费者,可以读取按新 Schema 写入的数据。 |
FORWARD_TRANSITIVE | 使用任一历史版本 Schema 的消费者,都可以读取按新 Schema 写入的数据。 |
FULL | 新 Schema 与上一版本 Schema 同时满足 BACKWARD 和 FORWARD 的要求。 |
FULL_TRANSITIVE | 新 Schema 与所有历史版本 Schema 均同时满足 BACKWARD 和 FORWARD 要求。 |
NONE | 不检查新旧 Schema 的兼容性,仍需满足 Schema 格式要求。 |
通常,先升级消费者可考虑 Backward,先升级生产者可考虑 Forward,需要双向兼容可考虑 Full。如果业务需要回溯消费较早的历史数据,应评估对应的 Transitive 策略。
注意:
不同 Schema 格式的兼容规则不同。并在变更前验证生产者和消费者。Schema 兼容性检查不等同于对消息业务内容的合法性校验。
使用限制
项目 | 说明 |
开放方式 | |
适用实例 | |
网络访问 | 通过实例所在 VPC 的接入地址访问,不支持公网接入。客户端需具备到该地址的网络连通性。 |
访问账号 | 使用服务提供的访问账号,暂不支持自定义多用户及细粒度读写权限。 |
控制台管理范围 | 按 TopicNameStrategy 管理 <Topic 名称>-key 和 <Topic 名称>-value。其他命名策略的 Subject 需通过 REST API 管理。 |
实例资源 | 服务会占用实例的部分 Topic、分区额度及存储资源。请勿修改或删除系统创建的相关资源。 |