腾讯云 CKafka 接入腾讯云数据连接器

最近更新时间:2023-06-08 14:48:00

我的收藏

操作场景

腾讯云数据连接器中的 Kafka 连接器支持 PLAINTEXT、SASL_PLAINTEXT、SASL_SCRAM 三种认证方式接入 Kafka 集群,可使用任一被支持的认证方式接入到 Kafka 集群。

前期准备

您需要先开通 CKafka 服务,并设置公网域名访问及对应 ACL 策略。

购买腾讯云 CKafka

设置 CKafka 接入方式

1. 登录 CKafka 控制台,在实例列表中选中想要设置的实例。


2. 单击实例的“ID/名称”,进入实例详情页。


3. 单击添加路由策略,在弹出的配置窗口中,路由策略配置为公网域名接入,接入方式选择 SASL_PLAINTEXT


4. 单击提交,配置完成后,获得公网访问的域名和接口。
kafka-public-route



创建 Topic

1. 登录 CKafka 控制台,在实例列表中选中想要设置的实例,单击实例的“ID/名称”,进入实例详情页。
2. 在实例详情页,单击页面顶部的 Topic 管理,单击新建
3. 在编辑 Topic 窗口中,选择分区数和副本数等信息。



设置 CKafka 登录用户

1. 在 CKafka 实例详情页面中,单击用户管理,进入用户管理页面。


2. 单击新建,依次输入用户名密码确认密码。后续腾讯云数据连接器的连接器配置需填写对应字段。
kafka-new-user



设置 ACL 策略(可选)

1. 进入对应实例的 ACL 策略管理页面。


2. 单击批量设置或单击某一 Topic 右侧的编辑 ACL 策略链接,进入新建 ACL 策略。


3. 勾选要设置 ACL 策略的 Topic,并在下方 ACL 策略栏中针对用户和 IP 配置读写策略。
说明
配置 IP 地址为 * 表示允许全部 IP 访问。

接入配置

配置腾讯云数据连接器 Kafka 连接器连接属性步骤如下:
1. 腾讯云数据连接器控制台 上单击添加应用,选择空白应用进行创建。


2. 单击左侧的集成流展开选择 NewFlow 在画布中单击 +选择Apache Kafka 连接器相关操作。


3. 单击右侧的新建连接器配置并按照指引填入相关参数。


4. 单击下一步以使用 SASL/PLAINTEXT 接入点为例,在连接器配置参数中,依次填写如下配置:
集群地址:填入 CKafka 公网接入域名,可参见 获得公网访问的域名和接口
集群 Kafka 版本:根据购买的 Kafka 实例版本选择对应的版本。
SASL 安全认证模式:选择 SASL/PLAINTEXT。
SASL 用户名:CKafka 此处的填写规则为 CKafka实例ID#CKafka用户名,假设 CKafka实例ID为ckafka-instance1,设置 CKafka 登录用户 中设置的用户名为 kafkaUser,则此处用户名应填写:ckafka-instance1#kafkaUser。
SASL 密码:请填写 设置 CKafka 登录用户 中创建的用户密码。
使能 TLS 安全传输协议:选择 false。


5. 其他 Kafka 参数请按实际情况填写,也可参见 Apache Kafka 连接器使用指南