有奖捉虫:办公协同&微信生态&物联网文档专题 HOT

背景

CKafka 连接器支持将订阅的多个 Mysql 数据库表的变更消息推送到 Kafka 的 Topic,有两种推送形式:
1. 支持将多个表的消息推送到同一个 Topic。
2. 支持将多个表的消息推送到不同的 Topic。
当订阅数据发送到多分区的 Topic 时,订阅数据发送的分区策略如下:
1. 默认情况下,数据将根据表的主键进行 hash,然后发送到多个分区。即同一个主键的订阅数据会发送到同一个分区,保证同一行数据的订阅变更数据是有序的。
2. 当根据主键 hash 不满足需求时,允许手动指定分区 hash 的列。即手动指定根据哪些列来进行 hash 发送至 Topic 的分区。

手动指定分区策略

手动指定分区策略需要在新建任务-数据源配置步骤设定每个表的分区策略,默认情况下将按照主键作为 key。 操作步骤如下:
1. 在创建数据链路任务时,在数据源配置界面可选择需要订阅的多库多表。


2. 根据选中的表添加分区策略,可设置表字段将字段值相同的数据变更消息投递到同一分区中。
image



数据订阅到多个 topic

如果希望将订阅的所有表的消息投递到多个 Topic,在新建任务-数据目标配置步骤选择分发到多个 Topic,然后配置表和 Topic 的映射规则。
image


说明
当数据订阅到多个 Topic 时,会将不同表的数据发送到不同的 Topic。在 Topic 维度的分区策略时,还是会根据上述的分区策略进行发送。