文档中心>数据传输服务>数据同步>同步至 Kafka>同步至 Kafka 与数据订阅的区别

同步至 Kafka 与数据订阅的区别

最近更新时间:2024-08-22 14:28:41

我的收藏
同步至 Kafka 与数据订阅实现原理类似,两者都可实时获取源库的数据变更,可应用于数据归档、数据分析等场景中。
如果用户已有自己的 Kafka(腾讯云 Ckafka),或者需要对源库的全量 + 增量数据进行同步,建议选择 同步至 Kafka 的功能。
如果用户没有自己的 Kafka(腾讯云 Ckafka),并仅需要获取源库的库、表的增量变更,建议选择 数据订阅(Kafka 版) 功能。
如果两个方案都可以满足业务使用,建议对比两个方案的计费金额,选择最便宜的方案,计费详情请参考 计费概述

详细的功能差别如下:
功能
数据同步至 Kafka
数据订阅
支持的链路
MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL 数据同步至 Ckafka。
源端为 MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL/TDSQL PostgreSQL/MongoDB。
数据格式
MySQL/MariaDB/Percona/TDSQL-C MySQL 数据同步至 Ckafka:Avro、JSON、Canal Protobuf、Canal JSON。
TDSQL MySQL 数据同步至 Ckafka:Avro、JSON。
Protobuf、Avro、JSON。
目标端 Kafka
用户自己的 Kakfa(当前仅支持目标端为腾讯云 Ckafka),可自行设置 Topic 名称。
DTS 数据订阅内置 Kafka,用户不可设置 Topic 名称。
数据类型
全量 + 增量数据。
仅增量数据。
同步对象
同步源库的基础库、表、视图、函数、存储过程。
订阅源库的基础库、表对象。
SQL 过滤
支持 SQL 过滤,可筛选 INSERT、UPDATE、DELETE 和具体的 DDL,可进行 where 条件过滤。
仅可选择结构更新,或者数据更新,不能进行 SQL 过滤。