操作场景
腾讯云数据连接器中的 Kafka 连接器支持 PLAINTEXT、SASL_PLAINTEXT、SASL_SCRAM 三种认证方式接入 Kafka 集群,可使用任一被支持的认证方式接入到 Kafka 集群。
前期准备
注意
在购买阿里云 Kafka 时,有 VPC 接入版和公网 + VPC 接入版可选,由于腾讯云数据连接器位于阿里云的外网,因此创建实例时请选择公网 + VPC 接入版。
步骤1:购买 Kafka 实例
1. 登录 阿里云 Kafka 控制台。
2. 单击购买实例,进入实例购买页面。
3. 按照实际付费方式选择包年包月或按量计费,单击确定进入购买页面(本文以按量计费为例)。
4. 在实例购买页面,按照实际情况选择地域和规格类型。
实例类型请选择公网 + VPC 实例,按照实际情况选择公网流量大小,其他参数如磁盘类型、磁盘大小可参见 阿里云 Kafka 文档 说明,按照业务实际情况选择。
5. 勾选服务协议后,单击立即购买即可完成实例购买。
步骤2:创建资源
Kafka 实例部署
1. 登录 阿里云 Kafka 控制台,单击左侧菜单栏的实例列表,进入实例列表页面。
2. 单击操作列的部署,在弹出的部署页面中,关联已有 VPC 或新建 VPC。
关联界面如下:
3. 单击页面中 VPC 创建链接,进入专有网络控制台,单击创建专有网络。
3.1 根据页面填写相关参数。
3.2 单击确定完成专有网络的创建。
4. 切换回阿里云 Kafka 实例部署页面,选中创建好的 VPC 和 vSwitch。
5. 单击确定后,等待实例部署完成。
Kafka 资源创建
1. 在 Kafka 控制台 单击目标实例名称,进入实例管理页。
2. 单击Topic 管理,单击创建 Topic,进入 Topic 创建页面,填写对应参数后,单击确定完成 Topic 创建。
3. 单击 Group 管理,单击创建 Group,进入 Group 创建页面,填写 group id 和描述等必填参数后,单击确定,完成 Group 创建。
接入配置
步骤1:获取 iPaaS Kafka 连接器配置信息
1. 登录 阿里云 Kafka 控制台,单击目标实例 ID 进入实例详情页,可以查询到接入点信息。
2. 登录 阿里云 Kafka 控制台,单击目标实例 ID 进入实例详情页,下拉页面可以查询到配置信息。
步骤2:配置腾讯云数据连接器 Kafka 连接器连接属性
1. 登录 腾讯云数据连接器控制台,单击新建应用,选择空白应用进行创建。
2. 单击左侧的集成流展开选择 NewFlow 在画布中单击 +选择 Apache Kafka 连接器相关操作。
3. 单击右侧的新建连接器配置并按照指引填入相关参数。
4. 单击下一步,以使用 SASL/PlainText 接入点为例,在连接器配置参数中,依次填写如下配置:
集群地址:填入 Kafka 公网接入域名,此处填写 接入点信息 中网络为公网的域名接入点。
集群Kafka版本:根据购买的 Kafka 实例版本选择对应的版本,此处填写 接入点信息 中的大版本号。
SASL安全认证模式:选择 SASL/PlainText。
SASL用户名:此处填写 配置信息 中的用户名。
SASL密码:此处填写 配置信息 中的密码。
使能TLS安全传输协议:选择 true。
消费者组:填写刚刚创建的 ipaas-consumer。
主题:填写刚刚创建的 ipaas-test。
5. 其他 Kafka 参数请按实际情况填写,也可参见 Apache Kafka 连接器使用指南。