有奖捉虫:办公协同&微信生态&物联网文档专题 HOT

操作场景

CKafka 连接器提供数据流出能力,您可以将 CKafka 数据分发至数据仓库 ClickHouse 以对数据进行存储、查询和分析。

前提条件

若使用腾讯云维护的 ClickHouse 产品,使用时需开通相关产品功能。同时也支持数据流出至自建 ClickHouse。
在 ClickHouse 建好表,建表的时候需要指定好 Column 和 Type。
已创建好数据流出目标 ClickHouse 连接。

操作步骤

创建任务

1. 登录 CKafka 控制台
2. 在左侧导航栏单击连接器 > 任务列表,选择好地域后,单击新建任务
3. 填写任务名称,任务类型选择数据流出,数据目标类型选择 数据仓库(ClickHouse),单击下一步
4. 配置数据源信息。



Topic 类型:选择数据源 Topic
弹性 Topic:选择提前创建好的弹性 Topic,详情参见 Topic 管理
CKafka 实例内 Topic:选择在 CKafka 创建好的实例和 Topic,若实例设置了ACL 策略,请确保选中的 topic 有读写权限,详情参见 创建 Topic
起始位置:选择转储时历史消息的处理方式,topic offset 设置。
5. 设置上述信息后,单击下一步,单击预览 Topic 消息,将会选取源 Topic 中的第一条消息进行解析。
目前解析消息需要满足以下条件:
消息为 JSON 字符串结构。
源数据必须为单层 JSON 格式,嵌套 JSON 格式可使用 数据处理 进行简单的消息格式转换。
6. (可选)开启对源数据进行数据处理按钮,具体配置方法请参见 简单数据处理
7. 单击下一步,配置数据目标信息。



数据目标:选择创建好的 Clickhouse 连接。
cluster: ClickHouse 的集群名称(默认为 default_cluster)。
database:ClickHouse 设置的数据库名称。
table:在该数据库内构建的表名称,目前数据流出 ClickHouse 服务不会自动创建表,需要客户手动创建当前 ClickHouse 目标表
源数据:单击拉取源 Topic 数据。源数据必须为单层 JSON 格式,嵌套 JSON 格式可使用 数据处理 功能进行转换。
失败消息处理:选择投递失败的消息的处理方式,支持丢弃保留投递至 CLS (需指定投递到的日志集和日志主题并授权访问日志服务 CLS)三种方式。
保留:适合用于测试环境,任务运行失败时将会终止任务不会重试,并且在事件中心中记录失败原因。
丢弃:适合用于生产环境,任务运行失败时将会忽略当前失败消息。建议使用“保留”模式测试无误后,再将任务编辑成“丢弃”模式用于生产。
投递至 CLS:适合用于严格生产环境,任务运行失败时会将失败消息及元数据和失败原因上传到指定 CLS 主题中。
8. 单击提交,可以在任务列表看到刚刚创建的任务,在状态栏可以查看任务创建进度。