数据源一览

最近更新时间:2025-07-01 14:13:12

我的收藏

背景信息

实时同步当前支持整库同步、分库分表、实时单表三种任务类型。
整库同步任务:官方推荐的任务类型。一个同步任务中支持同步1张表或多张表的数据到目标端。任务提交运行后支持根据源端表结构自动创建目标表,源表的数量和目标表的数量是一对一的关系。任务运行期间源表若发生Schema变更可以自动同步到目标表。由于整库迁移任务一个任务可支持同步多表数据,所以占用源端链接较少,所需的同步资源整体较少,建议优先使用整库同步任务。
分库分表任务:若源表由于业务需要被拆分成分库分表,多个分表的数据需要实时同步到目标端的一张表中,该场景下可使用分库分表任务。分库分表任务与整库迁移任务机制类似,只是会将源端的分表抽象成逻辑表后再同步到目标端。
单表同步任务:一个同步任务只支持一张源表和一张目标表。目标表需要事先创建好,任务运行期间不支持自动建表,源表发生Schema变更也不支持同步到目标端。占用的数据源链接和整体资源较多,整库迁移任务有对应链路的情况下不建议用单表同步任务类型。

支持的数据源

说明:
实时同步任务的来源端和目标端是星型链路,一个来源数据源类型支持写入到所有的目标数据源类型。

1. 实时整库迁移任务支持的数据源

数据源
实时同步
整库读取
整库写入
关系型数据库
-
-
-
-
拟下线
Oracle
-
OceanBase
-
大数据
DLC
-
-
Iceberg
-
StarRocks
-
TCHouse-P
-
TCHouse-X
-
TCHouse-C
-
Hive
-
NoSQL
-
-
消息队列
Kafka

2. 实时分库分表任务支持的数据源

数据源
实时同步
整库读取
整库写入
关系型数据库
-
-
-
-
Oracle
-
大数据
DLC
-
-
Iceberg
-
TCHouse-X
-
消息队列
Kafka
-

3. 实时单表同步任务支持的数据源

数据源
实时同步
单表读取
单表写入
关系型数据库
Oracle
OceanBase
✓(白名单)
达梦 DM
大数据
Hive
-
DLC
-
-
-
TCHouse-P
-
Iceberg
-
HBase
-
✓(拟下线)
HDFS
-
✓(拟下线)
TBase
-
✓(拟下线)
Greenplum
-
✓(拟下线)
NoSQL
-
-
消息队列
✓(拟下线)
-
DTS-kafka
✓(拟下线)
-