云函数 SCF

最近更新时间:2023-06-15 17:48:03

我的收藏

操作场景

Ckafka 连接器提供数据流出能力,您可以将 CKafka 数据分发至云函数 SCF,借助云函数 SCF 和 CKafka 连接器,可以非常方便实现 CKafka 消息转出到 COS、ES、CDW 等。

前提条件

该功能目前依赖云函数 SCF 产品,使用时需开通相关产品功能。

操作步骤

1. 登录 CKafka 控制台
2. 在左侧导航栏单击连接器 > 任务列表,选择好地域后,单击新建任务
3. 填写任务名称,任务类型选择数据流出,数据目标类型选择 云函数 SCF,单击下一步
4. 配置数据源信息。



Topic 类型:选择数据源 Topic
弹性 Topic:选择提前创建好的弹性 Topic,详情参见 Topic 管理
CKafka 实例内 Topic:选择在 CKafka 创建好的实例和 Topic,若实例设置了ACL 策略,请确保选中的 topic 有读写权限。详情参见 创建 Topic
起始位置:选择转储时历史消息的处理方式,topic offset 设置。
5. 设置上述信息后,单击下一步,单击预览 Topic 消息,将会选取源 Topic 中的第一条消息进行解析。
说明
目前解析消息需要满足以下条件:
源数据必须为单层 JSON 格式,嵌套 JSON 格式可使用 数据处理 进行简单的消息格式转换。
6. (可选)开启对源数据进行数据处理按钮,具体配置方法请参见 简单数据处理
7. 单击下一步,配置数据目标信息。



命名空间:选择函数所在的命名空间。
函数资源:仅支持选择已有函数,您也可以选择新建函数资源,当前支持的函数模板有 CKafka 连接器实时消息转储至 ES、CKafka 连接器数据实时转储至 COS、CKafka 连接器数据目标实时同步到 CDW,具体的配置规则方法参考文档新建函数
版本及别名:选择函数版本和别名。
最大批量消息数:单次触发时最大可处理的消息数量。
重试次数:函数调用失败时的最大重试次数。
角色授权:使用 SCF 产品功能,您需要授予 SCF 产品一个第三方角色代替您执行访问云资源的权限。
8. 单击提交,可以在任务列表看到刚刚创建的任务,在状态栏可以查看任务创建进度。