TDSQL Boundless 支持通过 DTS(Data Transfer Service,数据传输服务)实时监控并捕获实例的数据变化并转换为消息对象推送到 Kafka,方便下游业务订阅、获取和消费。
注意事项
1. 版本兼容性:仅支持 TDSQL Boundless 19.2.0及以上版本。
2. Binlog 功能状态
Binlog 功能在当前版本为实验特性,请勿将其用于正式生产系统。若您有需要可通过腾讯云技术支持与我们联系并申请。
开启 Binlog 会自动创建 CDC 节点,关闭 Binlog 则会自动删除已创建的 CDC 节点。
3. 功能与语法限制
备份独立性:实例的备份与恢复功能不依赖 Binlog。
Binlog 下载:不支持直接下载 Binlog 文件。
对象支持限制:暂不支持生成 FUNCTION(函数)、PROCEDURE(存储过程)、TRIGGER(触发器) 操作的 Binlog。
4. 不同版本的特定限制
CREATE TABLE ... AS SELECT ... 语法20.0.0以前版本:开启 DTS for TDSQL Boundless 的数据同步功能后,该语法将被禁用。如需恢复,需联系技术支持关闭同步功能并重启实例。
20.0.0及以后版本:无此限制。
VIEW(视图)支持
21.0.0以前版本:不支持 VIEW 操作的 Binlog。
21.1.0及以后版本:开始支持 VIEW 操作的 Binlog。
第一步:开启 TDSQL Boundless 实例的 Binlog
1. 联系 腾讯云技术支持,开启 Binlog 及 DTS 白名单功能。
开通成功后,您将获取 CDC Node 的 IP 与端口,请妥善保管,后续将用于创建数据订阅任务。
2. 验证 Binlog 开启状态。
2.1 登录 控制台,在实例列表中,选择已开通 Binlog 的实例 ID。
2.2 进入实例详情页面,在配置信息区域,单击Binlog 设置。

2.3 返回实例详情页面,在实例架构图区域,检查是否已自动创建 CDC 节点。

3. 创建用于数据订阅的用户,并赋予
REPLICATION CLIENT、REPLICATION SLAVE、PROCESS 和全部对象的 SELECT 权限。3.1 登录 控制台,在实例列表中,选择已开通 Binlog 的实例 ID。
3.2 进入账号管理页面,单击创建账号,创建用于数据同步的用户。
3.3 在账号所在行,单击操作列修改权限,赋予
REPLICATION CLIENT、REPLICATION SLAVE、PROCESS 和全部对象的 SELECT权限。
第二步:网络准备
使用 DTS 进行数据库的订阅,需要分别将源/目标数据库所在的网络与 DTS 所属的腾讯云网络进行打通,以便 DTS 可以连通源/目标数据库。
第三步:使用 DTS 创建数据订阅任务
1. 登录 DTS 控制台,在左侧导航选择数据订阅页,单击新建数据订阅。
2. 在新建数据订阅页,选择相应配置,单击立即购买。
配置项 | 说明 |
服务类型 | 数据订阅 |
数据库 | 选择 TDSQL TDStore 版。 |
地域 | 地域需与源数据库实例的地域保持一致。 |
版本 | 选择 Kafka 版,支持通过 Kafka 客户端直接消费。 |
订阅实例名称 | 编辑当前数据订阅实例的名称。 |

3. 购买成功后,返回数据订阅列表,单击操作列的配置订阅,对刚购买的订阅进行配置,配置完成后才可以使用。

4. 配置数据订阅页面,选择源数据库相应配置,完成后单击测试连通性,测试通过后单击保存并下一步。

配置项 | 说明 |
云数据库实例 | 选择在第一步中已开通 Binlog 的实例。 |
账号/密码 | 在第一步中已创建的具有 REPLICATION CLIENT、REPLICATION SLAVE、PROCESS 和全部对象的 SELECT权限的账号。 |
5. 在订阅类型和对象选择页面,选择订阅类型,单击保存并下一步。

配置项 | 说明 |
订阅类型 | 数据更新:订阅源库全部对象的数据更新,包括数据 INSERT、UPDATE、DELETE 操作。结构更新:订阅源库全部对象的结构创建、修改和删除。 全实例:订阅源库全部对象的数据更新和结构更新。 |
订阅数据格式 | 支持 ProtoBuf、Avro 和 JSON 三种格式。 ProtoBuf 和 Avro 采用二进制格式,消费效率更高,JSON 采用轻量级的文本格式,更加简单易用。 |
Topic 分区数量 | 设置数据投递到内置 Kafka 中 Topic 的分区数量,增加分区数量可提高数据写入和消费的速度。单分区可以保障消息的顺序,多分区无法保障消息顺序,如果您对消费消息的顺序有严格要求,请选择分区数量为1。 |
Topic 分区策略 | Topic 分区数量为4或8时,需配置 Topic 分区策略。 按表名分区:将相同表名的数据写入同一个分区中。 表名 + 主键分区:将相同主键的数据写入同一个分区。适用于热点数据的表,可以将热表数据分散到不同分区中,提升并发消费效率。 |
使用自定义分区策略 | Topic 分区数量为4或8时,支持配置自定义分区策略。 |
6. 在预校验页面,预校验任务预计会运行2分钟 - 3分钟,预校验通过后,单击启动完成数据订阅任务配置。

7. 单击启动后,订阅任务会进行初始化,预计会运行3分钟 - 4分钟,初始化成功后进入运行中状态。