订阅操作说明
1. DTS 订阅任务地域需要和云数据库所属地域保持一致。
2. 在源数据库中删除已选订阅对象的指定库或者集合后,该库或者集合的订阅数据(Change Stream)将会被无效化,即使在源数据库中重建该库或者集合也无法续订数据,需要重置订阅任务,重新勾选订阅对象。
消费操作说明
1. 数据消费时,不支持通过外网连接数据订阅的 Kafka 进行消费,只支持腾讯云内网的访问,并且消费的地域,需要和 DTS 订阅任务的地域保持一致。
2. 为了保证数据可重入,DTS 订阅引入 Checkpoint 机制。消息写入 Kafka Topic 时,一般每10秒会插入一个 Checkpoint,用来标识数据同步的位点,在任务中断后再重启识别断点位置,实现断点续传。另外,消费端遇到 Checkpoint 消息会做一次 Kafka 消费位点提交,以便及时更新消费位点。
内置 Kafka 说明
1. 订阅的消息保存在 DTS 内置 Kafka(单 Topic)中,目前默认保存时间为最近1天,单 Topic 的最大存储为500G,当数据存储时间超过1天,或者数据量超过500G时,内置 Kafka 都会开始清除最先写入的数据。所以请用户及时消费,避免数据在消费完之前就被清除。
2. DTS 中内置的 Kafka 处理单条消息有一定上限,当源库中的单行数据超过10MB时,这条数据在消费端可能会被丢弃。
支持订阅的事件
事件 | 说明 |
DELETE | 从集合中删除文档时发生。 |
DROP | 从数据库中删除集合时发生。 |
DROPDATABASE | 删除数据库时发生。 |
INSERT | 在一个操作将文档添加到集合时发生。 |
INVALIDATE | 当操作使变更流无效时发生此事件。 |
RENAME | 重命名集合时发生。 |
REPLACE | 当更新操作从集合中删除文档并将其替换为新文档时发生此事件。 |
UPDATE | 当一个操作更新集合中的文档时发生。 |