有奖捉虫:行业应用 & 管理与支持文档专题 HOT

操作场景

CKafka 连接器支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。
本文介绍在 CKafka 控制台创建 COS 数据接入任务的操作方法。

前提条件

已提前创建好数据目标 Topic。
已创建好存储桶和对象。

操作步骤

1. 登录 CKafka 控制台
2. 在左侧导航栏选择连接器 > 任务列表,选择好地域后,单击新建任务
3. 填写任务名称,任务类型选择数据接入,数据源类型选择对象存储(COS),单击下一步
4. 填写数据源配置信息。n


源存储桶:选择源数据存储桶。
源对象:选择源数据对象,当前 Topic 支持的最大消息大小为12MB,单行文本数据超过12MB 会写入失败。
角色授权:使用对象存储(COS)产品功能,您需要授予一个第三方角色代替您执行访问相关产品权限。
5. 单击下一步,选择数据目标 Topic。
自动创建 Topic:可以选择 CKafka 实例内 Topic 或者弹性 Topic,若选择 CKafka 实例内 Topic,则需要指定目标 CKafka 实例。支持批量连续命名或指定模式串命名,参考文档
选择已有 Topic:支持选择弹性 Topic 或者 CKafka 实例内 Topic。选择 CKafka 实例内 Topic 时,若实例设置了 ACL 策略,请确保选中的 Topic 有读写权限。



6. 选择是否开启数据压缩,数据压缩可以减少网络 IO 传输量,减少磁盘存储空间,数据压缩说明
7. 单击提交,可以在任务列表看到刚刚创建的任务,在状态栏可以看到创建进度。