操作场景
存量数据订阅任务仍在 1.0(原 Kafka 版)上运行时,可通过控制台提供的产品化升级流程,将任务平滑升级至数据订阅 2.0。升级后将获得独立 CKafka 实例、更强的资源隔离性和更完善的可观测能力,且升级前后价格保持一致。
背景信息
数据订阅 2.0 在架构层面进行了全面升级,从地域共享的自建 Kafka 集群切换为每个用户独立的云产品 CKafka 实例,彻底消除"邻居效应"。升级过程中,系统会自动创建一个与 1.0 任务并行运行的 2.0 影子任务,通过 GTID 位点映射确保数据连续性,支持消费组级别的精细化切换和回滚。
实现机制
升级流程分为 4 个阶段,系统会自动管控阶段流转:
阶段 | 说明 |
创建影子任务 | 系统在 2.0 CKafka 上创建与 1.0 同配置的影子订阅任务,自动同步源库表结构。 |
数据追平 | 影子任务开始追赶 1.0 的消费进度,通过 GTID 差距事务数衡量追平状态。 |
升级切换 | 按消费组粒度进行切换,每个消费组需完成同步位点、修改配置、重启服务、确认消费 4 步。 |
完成升级 | 系统异步执行收尾操作:释放 1.0 任务资源、删除测试消费组。 |
数据追平判断标准:当 2.0 影子任务与源库的 GTID 差距事务数小于 5 时,系统判定为已追平,允许进入升级切换阶段。
消费组切换状态:每个消费组独立管理切换进度,状态为
pending(未切换)或 upgraded(已切换完成)。只有所有业务消费组(不含测试消费组)都处于 upgraded 状态时,才能触发完成升级操作。注意事项
升级切换窗口期为 3 天,请在窗口期内尽快完成所有消费组的切换操作。超期未完成迁移,系统将自动释放老版本任务。
升级过程中,Topic、消费组名称(group.id)、用户名和密码均保持不变,仅需修改
bootstrap.servers 接入点地址。完成升级后将无法再回到升级页面进行切换/回滚操作,1.0 任务释放后对应实例将被回收。
如果消费端使用容器化部署,建议在重启消费者服务时采用滚动重启方式,避免业务中断。
新版 2.0 订阅实例默认仅可被 VPC 内的 CVM 所访问,如需跨 VPC 访问,需额外配置云联网 。
前提条件
已拥有数据订阅 1.0(原 Kafka 版)运行中的订阅任务。
已确认消费端所在的 VPC 和子网信息。
已在上述 VPC 内准备一台 CVM 实例,用于升级切换过程中的消费测试验证。
操作步骤
步骤一:发起升级
1. 登录 DTS 控制台,在左侧导航栏选择数据订阅。
2. 在数据订阅列表中,找到需要升级的 1.0(原 Kafka 版)订阅任务,单击订阅 ID/名称列的升级 2.0。

步骤二:创建影子任务
1. 在创建影子任务页面,左侧展示当前版本 1.0(原 Kafka 版)的订阅信息(订阅 ID、Kafka 接入点、Topic),右侧展示新版本 2.0 的订阅信息。
2. 在右侧网络设置中,选择消费端所在的 VPC 和子网,单击生成影子任务。
说明:
新版 2.0 订阅实例默认仅可被同一 VPC 内的 CVM 访问,如需跨 VPC 访问,需要额外配置云联网服务。

3. 系统开始创建 2.0 影子任务并进行数据同步,生成影子任务成功后,单击下一步,数据追平测试。
4. 在弹出的对话框中,单击确定。
步骤三:数据追平
在数据追平页面,等待数据追平,当出现绿色提示数据已追平,可进行“升级切换”时,单击下一步,升级切换。
说明:
数据追平要求:1.0 和新版本 2.0 与源库的 GTID 差距事务数均需小于 5 才可进入升级切换。

步骤四:升级切换(需用户介入)

进入升级切换阶段后,需要对每个消费组逐一完成切换操作。DTS 提供两种切换方案:
方案 A(逐个切换):查看消费组信息 > 新增测试消费组 > 测试消费组点“切换步骤”按提示操作直到确认完成 > 其余消费组逐一按照上一步操作。
方案 B(一键切换):查看消费组信息 > 全选所有消费组 > 一键同步所有位点 > 一键确认完成。
消费组切换步骤(逐个切换)
对每个消费组,单击右侧新版本2.0消费组操作列的切换步骤,进入切换流程:
第 1 步:同步位点
将该消费组在 1.0 中的消费位点同步到 2.0,确保切换后不丢失消费进度,单击同步位点。
说明:
本操作按次触发,不会持续同步;如老任务有持续消费,建议在客户端切换前最后一次同步。
同步成功后将自动标记 SyncOffset 步骤完成,并跳到下一步。

第 2 步:修改 Kafka 接入点配置
将消费端配置中的
bootstrap.servers 修改为新的 2.0 接入点 IP,其他配置项保持不变。修改完成后,单击已完成配置修改,下一步。

第 3 步:重启消费者服务
重启消费端进程,使配置变更生效,单击已完成。
说明:
重启前请确认上一步修改 Kafka 接入点配置已在所有消费端实例上完成。
如果使用容器化部署,建议滚动重启避免业务中断。

第 4 步:确认消费正常
观察消费数据,确认可以正常接收并消费数据,单击确认完成,在弹出的对话框中,单击确认完成。
说明:
请在新版 2.0 接入点确认消费端已经能正常消费数据后再单击确认完成。
确认消费正常后,1.0(原 Kafka 版)对应的消费组会进行访问控制,如需要重新使用 1.0 的消费组,请单击回滚切换步骤。

消费组回滚操作

1. 如果在切换过程中发现异常,可以对已切换的消费组进行回滚。单击右侧新版本2.0消费组操作列的回滚。
2. 在弹出的对话框中,单击确认回滚执行回滚操作。
说明:
回滚后该消费组在 2.0 的切换状态将重置为未切换,所有切换流程需要重新执行。
如有需要重新切换该消费组,可在表格中再次单击切换步骤按指引执行。
批量操作
如选中 1.0 侧消费组,可对所选组执行以下批量操作:
新增测试消费组:添加测试用消费组进行切换验证。测试消费组会同时在 1.0 和 2.0 两侧创建,用于验证切换流程。完成升级时系统会自动删除所有测试消费组。
一键同步所有位点:对所有选中消费组同时执行位点同步。
一键确认完成切换升级:对所有选中消费组同时标记切换完成(需确保所有选中组的消费端已完成配置修改和重启)。
步骤五:完成升级
1. 当所有业务消费组(不含测试消费组)均完成切换流程后,单击页面下方下一步,完成升级。
2. 在弹出的完成升级对话框中,单击确认。
说明:
确认后将无法再回到本页面进行升级切换/回滚操作。
1.0 任务释放后,对应实例将被回收;2.0 专业版任务继续提供服务。
3. 升级完成后,在完成升级页面展示切换成功信息:
切换信息:订阅 ID、订阅名称、切换时间、升级耗时。
新连接信息:Bootstrap Servers(Kafka 接入点)、Topic、源实例、网络类型、所属网络、子网。
4. 单击完成,返回订阅列表。

后续步骤
升级完成后,建议持续观察消费端的消费状态,确认数据正常消费。
如需配置监控告警,请参考 配置数据订阅告警策略。
如需了解订阅 2.0 与 1.0 的详细差异,请参考 数据订阅 2.0 升级说明。
常见问题
Q1:升级窗口期过期后会发生什么?
升级窗口期为 3 天,如果超期未完成迁移切换,系统将自动释放老版本 1.0 任务。系统会在下线 1.0 实例前进行通知提醒。
Q2:升级后 Topic 和消费组名称会变吗?
不会变化。2.0 版本会自动创建与 1.0 同名的 Topic,平台在 2.0 CKafka 上预创建同名消费组,用户名和密码也保持不变。仅需修改
bootstrap.servers 接入点地址。Q3:升级是否收取额外费用?
不收取额外费用。升级前后价格完全一致(720 元/月)。
Q4:消费端在不同 VPC 中,如何访问 2.0 订阅实例?