背景信息
实时同步当前支持整库同步、分库分表、实时单表三种任务类型。
整库同步任务:官方推荐的任务类型。一个同步任务中支持同步1张表或多张表的数据到目标端。任务提交运行后支持根据源端表结构自动创建目标表,源表的数量和目标表的数量是一对一的关系。任务运行期间源表若发生Schema变更可以自动同步到目标表。由于整库迁移任务一个任务可支持同步多表数据,所以占用源端链接较少,所需的同步资源整体较少,建议优先使用整库同步任务。
分库分表任务:若源表由于业务需要被拆分成分库分表,多个分表的数据需要实时同步到目标端的一张表中,该场景下可使用分库分表任务。分库分表任务与整库迁移任务机制类似,只是会将源端的分表抽象成逻辑表后再同步到目标端。
单表同步任务:一个同步任务只支持一张源表和一张目标表。目标表需要事先创建好,任务运行期间不支持自动建表,源表发生Schema变更也不支持同步到目标端。占用的数据源链接和整体资源较多,整库迁移任务有对应链路的情况下不建议用单表同步任务类型。
支持的数据源
说明:
实时同步任务的来源端和目标端是星型链路,一个来源数据源类型支持写入到所有的目标数据源类型。
1. 实时整库迁移任务支持的数据源
数据源 | 实时同步 | ||
| | 整库读取 | 整库写入 |
关系型数据库 | ✓ | - | |
| ✓ | - | |
| ✓ | - | |
| ✓ | - | |
| ✓ | 拟下线 | |
| ✓ | - | |
| ✓ | - | |
大数据 | - | ✓ | |
| - | ✓ | |
| - | ✓ | |
| - | ✓ | |
| - | ✓ | |
| TCHouse-X | - | ✓ |
| TCHouse-C | - | ✓ |
| - | ✓ | |
NoSQL | - | ✓ | |
| ✓ | - | |
消息队列 | ✓ | ✓ |
2. 实时分库分表任务支持的数据源
数据源 | 实时同步 | ||
| | 整库读取 | 整库写入 |
关系型数据库 | ✓ | - | |
| ✓ | - | |
| ✓ | - | |
| ✓ | - | |
| ✓ | - | |
大数据 | - | ✓ | |
| - | ✓ | |
| - | ✓ | |
| TCHouse-X | - | ✓ |
消息队列 | - | ✓ |
3. 实时单表同步任务支持的数据源
数据源 | 实时同步 | ||
| | 单表读取 | 单表写入 |
关系型数据库 | ✓ | ✓ | |
| ✓ | ✓ | |
| ✓ | ✓ | |
| ✓ | ✓ | |
| ✓ | ✓ | |
| ✓ | ✓ | |
| ✓(白名单) | ✓ | |
| ✓ | ✓ | |
大数据 | - | ✓ | |
| - | ✓ | |
| - | ✓ | |
| - | ✓ | |
| - | ✓ | |
| - | ✓ | |
| - | ✓(拟下线) | |
| - | ✓(拟下线) | |
| - | ✓(拟下线) | |
| - | ✓(拟下线) | |
NoSQL | - | ✓ | |
| ✓ | - | |
消息队列 | ✓ | ✓ | |
| ✓(拟下线) | - | |
| ✓(拟下线) | - |