有奖捉虫:云通信与企业服务文档专题,速来> HOT

操作场景

CKafka 连接器支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。
CKafka 连接器支持订阅 MongoDB 变更数据,免去对基于 CDC 的订阅组件如(Canal、Debezium 等)的运维成本。本文介绍在 CKafka 控制台创建 MongoDB 数据接入任务的操作方法。

前提条件

已创建好数据目标 Topic。
已创建好数据源 MongoDB 连接。

操作步骤

1. 登录 CKafka 控制台
2. 在左侧导航栏选择连接器 > 任务列表,选择好地域后,单击新建任务
3. 填写任务名称,任务类型选择数据接入,数据源类型选择 MongoDB 数据订阅,单击下一步
4. 填写数据源配置信息,单击下一步。n


数据源:选择提前创建好的 MongoDB 连接。
database:源 MongoDB 的数据库名,不支持导入 MongoDB 默认数据库数据。
table:源 MongoDB 的表名。
复制存量数据:是否复制源 MongoDB 的存量数据。
监听事件类型:选择监听事件类型,默认选择全部。
写入 Topic 的 key:如果使用 ObjectId 作为写入 topic 的 key,则对同一条 MongoDB 中数据的操作,存放在同一个分区内。
5. 选择数据目标 Topic。
自动创建 Topic:可以选择 CKafka 实例内 Topic 或者弹性 Topic,若选择 CKafka 实例内 Topic,则需要指定目标 CKafka 实例。支持批量连续命名或指定模式串命名,参考文档
选择已有 Topic:支持选择 弹性 Topic 或者 CKafka 实例内 Topic。选择 CKafka 实例内 Topic 时,若实例设置了 ACL 策略,请确保选中的 Topic 有读写权限。



6. 选择是否开启数据压缩,数据压缩可以减少网络 IO 传输量,减少磁盘存储空间,数据压缩说明
7. 单击提交,可以在任务列表看到刚刚创建的任务,在状态栏可以看到创建进度。