有奖捉虫:办公协同&微信生态&物联网文档专题 HOT

操作场景

CKafka 连接器支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。
CKafka 连接器支持订阅 MySQL 变更数据,免去对基于 CDC 的订阅组件如(Canal、Debezium 等)的运维成本。本文介绍在 CKafka 控制台创建 MySQL 数据接入任务的操作方法。

前提条件

已创建好数据目标 Topic。
已创建好数据源 MySQL 连接。

操作步骤

1. 登录 CKafka 控制台
2. 在左侧导航栏选择连接器 > 任务列表,选择好地域后,单击新建任务
3. 填写任务名称,任务类型选择数据接入,数据目标类型选择 MySQL数据接入,单击下一步
4. 填写数据源配置信息,单击下一步



数据源:选择提前创建好的 MySQL 连接。连接源设置的用户需要拥有 SELECT,RELOAD,SHOW DATABASES,REPLICATION SLAVE,REPLICATION CLIENT 的权限。
database:选择要监听的数据库。
读取模式:支持表模式query 模式
当读取模式为表模式时,需要选择 table。
当读取模式为 query 模式时,需要输入 query 语句。
增量依赖模式:任务定时查询数据库增量数据时,所依赖的列称作增量列。“时间”表示增量列为时间戳,“自增 ID”表示增量列为自增 ID。
增量监听列:监听列只允许非空;数据接入无法监听到当前时间内被删除或者没有更新监听列的数据。
复制存量数据:是否复制源数据库的存量数据。
包含Schema:消息输出时,KEY和VALUE内容是否包含 Schema。
5. 选择数据目标 Topic。
支持选择弹性 Topic 或者 CKafka 实例内 Topic。选择 CKafka 实例内 Topic 时,则需要指定目标 CKafka 实例,若实例设置了ACL 策略,请确保选中的 Topic 有读写权限。
6. 单击提交,可以在任务列表看到刚刚创建的任务,在状态栏可以看到创建进度。n