同步忽略操作

最近更新时间:2024-10-17 20:41:22

我的收藏
当用户将源端数据同步至分析引擎时候,有一些特殊场景需要将源端的某些数据操作变更屏蔽掉,使操作不会同步到目标端。当具有此类需求时,可使用 CDC任务配置中的“忽略执行”来进行操作。

支持忽略类型

新建 CDC 任务 中的设置对象阶段,可配置“忽略执行”。“忽略执行”支持忽略“DML”和“DDL”操作。支持忽略的操作如下表:
操作类型
操作
对象
是否支持忽略
DML
DELETE
支持
DML
INSERT
不支持
DML
UPDATE
不支持
DDL
DROP
支持
DDL
DROP
支持
DDL
TRUNCATE
支持

忽略后行为

当库或者表设置了 DROP 操作过滤,则源端数据库中包含 DROP 表或者 DROP 库的行为后,LibraDB 中将不会删除库和表。
若设置了表的 DELETE 或 TRUNCATE 操作忽略,则当前 CDC 任务中所涉及的所有表的源端 DELETE 操作均不会同步至 LibraDB 中。
若设置了表的 DELETE 或者 TRUNCATE 操作忽略,在源端数据表又进行数据更新。此时同步至 LibraDB 后出现了重复字段值,LibraDB 将会对主键重复的记录保留两个不同的数据版本。可通过 final 查询最终的实时数据。
若对应的库表配置有多表归并,当前 CDC 任务中涉及的库表的忽略操作不影响其他 CDC 任务中未设置的过滤行为。即其他 CDC 任务的数据同步变更操作正常执行。

忽略操作步骤

新建 CDC 任务,在设置对象阶段,可配置“忽略执行”。勾选需要忽略的操作即可。


特殊场景操作指南

当需要对指定对象中的“某些”对象进行单独的忽略操作时。请将有着同样忽略需求的对象配置在“同一个 CDC 任务”中。目前无法针对一个 CDC 任务配置某部分指定对象的忽略操作,或者同一 CDC 任务中配置不同对象的不同忽略操作。