操作场景
腾讯云数据连接器中的 Kafka 连接器支持 PLAINTEXT、SASL_PLAINTEXT、SASL_SCRAM 三种认证方式接入 Kafka 集群,可使用任一被支持的认证方式接入到 Kafka 集群。
前期准备
您需要先开通 CKafka 服务,并设置公网域名访问及对应 ACL 策略。
购买腾讯云 CKafka
设置 CKafka 接入方式
1. 登录 CKafka 控制台,在实例列表中选中想要设置的实例。
2. 单击实例的“ID/名称”,进入实例详情页。
3. 单击添加路由策略,在弹出的配置窗口中,路由策略配置为公网域名接入,接入方式选择 SASL_PLAINTEXT。
4. 单击提交,配置完成后,获得公网访问的域名和接口。
创建 Topic
1. 登录 CKafka 控制台,在实例列表中选中想要设置的实例,单击实例的“ID/名称”,进入实例详情页。
2. 在实例详情页,单击页面顶部的 Topic 管理,单击新建。
3. 在编辑 Topic 窗口中,选择分区数和副本数等信息。
设置 CKafka 登录用户
1. 在 CKafka 实例详情页面中,单击用户管理,进入用户管理页面。
2. 单击新建,依次输入用户名、密码、确认密码。后续腾讯云数据连接器的连接器配置需填写对应字段。
设置 ACL 策略(可选)
1. 进入对应实例的 ACL 策略管理页面。
2. 单击批量设置或单击某一 Topic 右侧的编辑 ACL 策略链接,进入新建 ACL 策略。
3. 勾选要设置 ACL 策略的 Topic,并在下方 ACL 策略栏中针对用户和 IP 配置读写策略。
说明
配置 IP 地址为 * 表示允许全部 IP 访问。
接入配置
配置腾讯云数据连接器 Kafka 连接器连接属性步骤如下:
1. 在 腾讯云数据连接器控制台 上单击添加应用,选择空白应用进行创建。
2. 单击左侧的集成流展开选择 NewFlow 在画布中单击 +选择Apache Kafka 连接器相关操作。
3. 单击右侧的新建连接器配置并按照指引填入相关参数。
4. 单击下一步以使用 SASL/PLAINTEXT 接入点为例,在连接器配置参数中,依次填写如下配置:
集群地址:填入 CKafka 公网接入域名,可参见 获得公网访问的域名和接口。
集群 Kafka 版本:根据购买的 Kafka 实例版本选择对应的版本。
SASL 安全认证模式:选择 SASL/PLAINTEXT。
SASL 用户名:CKafka 此处的填写规则为 CKafka实例ID#CKafka用户名,假设 CKafka实例ID为ckafka-instance1,设置 CKafka 登录用户 中设置的用户名为 kafkaUser,则此处用户名应填写:ckafka-instance1#kafkaUser。
SASL 密码:请填写 设置 CKafka 登录用户 中创建的用户密码。
使能 TLS 安全传输协议:选择 false。
5. 其他 Kafka 参数请按实际情况填写,也可参见 Apache Kafka 连接器使用指南。