操作场景
订阅任务启动后,用户如需增加、删除订阅对象,可通过本操作进行。
修改订阅类型,增加、删除订阅对象。
修改 Kafka 分区策略,自定义分区策略。
前提条件
注意事项
1. 修改订阅对象后,原内网地址不变,仍绑定在该订阅任务上。内网地址可通过查看订阅详情 > 订阅信息进行查看。
2. 修改订阅对象操作后,会导致订阅任务会重启,发生秒级的暂停,重启后系统会识别源库的 Binlog 中断位点并继续订阅,数据不会中断。
3. MySQL/TDSQL-C MySQL/MariaDB/Percona/TDSQL PostgreSQL 订阅任务中,修改订阅对象操作后会发生任务重启,重启后可能会导致用户在 kafka 客户端消费数据时出现重复。MongoDB 订阅任务中,重启后不会发生数据重复。
MySQL/TDSQL-C MySQL/MariaDB/Percona/TDSQL PostgreSQL 订阅任务中,DTS 是按最小数据单元进行传输的,每标记一个 checkpoint 位点就是一个数据单元,如果重启时,刚好一个数据单元传输已完成,则不会导致数据重复;如果重启时,一个数据单元还正在传输中,那么再次启动后需要重新拉取这个数据单元,以保证数据完整性,这样就会导致数据重复。
MySQL/TDSQL-C MySQL 当前已支持数据去重,消费 Demo 中包含了去重逻辑,不会产生数据重复,MariaDB/Percona/TDSQL PostgreSQL,用户如果对重复数据比较关注,请自行在消费数据时设置去重逻辑。
4. 新增对象后,订阅的数据内容,针对的是任务重启后源库产生的增量数据。
操作步骤
1. 登录 DTS 控制台,在左侧导航选择数据订阅,进入数据订阅页面。
2. 在数据订阅列表,选择所需的数据订阅,选择操作列的更多 > 修改订阅对象,进入修改订阅对象页面。
3. 在修改订阅对象页面,重新选择订阅类型,勾选订阅对象,或者修改分区策略,然后单击保存配置。
4. 返回订阅列表,订阅任务进入启动中状态,进行任务预检查并初始化。启动成功后,订阅任务进入运行状态,即可使用 Kafka 客户端消费订阅数据。