有奖捉虫:办公协同&微信生态&物联网文档专题 HOT

操作场景

腾讯云数据连接器中的 Kafka 连接器支持 PLAINTEXT、SASL_PLAINTEXT、SASL_SCRAM 三种认证方式接入 Kafka 集群,可使用任一被支持的认证方式接入到 Kafka 集群。

前期准备

注意
在购买阿里云 Kafka 时,有 VPC 接入版和公网 + VPC 接入版可选,由于腾讯云数据连接器位于阿里云的外网,因此创建实例时请选择公网 + VPC 接入版

步骤1:购买 Kafka 实例

2. 单击购买实例,进入实例购买页面。
3. 按照实际付费方式选择包年包月或按量计费,单击确定进入购买页面(本文以按量计费为例)。


4. 在实例购买页面,按照实际情况选择地域和规格类型。 实例类型请选择公网 + VPC 实例,按照实际情况选择公网流量大小,其他参数如磁盘类型、磁盘大小可参见 阿里云 Kafka 文档 说明,按照业务实际情况选择。
5. 勾选服务协议后,单击立即购买即可完成实例购买。



步骤2:创建资源

Kafka 实例部署

根据 阿里云 Kafka 文档,推荐在阿里云控制台手动创建规划好的 Topic 和 Consumer Group 等资源。
1. 登录 阿里云 Kafka 控制台,单击左侧菜单栏的实例列表,进入实例列表页面。
2. 单击操作列的部署,在弹出的部署页面中,关联已有 VPC 或新建 VPC。

关联界面如下:


3. 单击页面中 VPC 创建链接,进入专有网络控制台,单击创建专有网络
image-20220325114229164


3.1 根据页面填写相关参数。
image-20220325114345867


3.2 单击确定完成专有网络的创建。


4. 切换回阿里云 Kafka 实例部署页面,选中创建好的 VPC 和 vSwitch。


5. 单击确定后,等待实例部署完成。



Kafka 资源创建

1. Kafka 控制台 单击目标实例名称,进入实例管理页。


2. 单击Topic 管理,单击创建 Topic,进入 Topic 创建页面,填写对应参数后,单击确定完成 Topic 创建。


3. 单击 Group 管理,单击创建 Group,进入 Group 创建页面,填写 group id 和描述等必填参数后,单击确定,完成 Group 创建。



接入配置

步骤1:获取 iPaaS Kafka 连接器配置信息

1. 登录 阿里云 Kafka 控制台,单击目标实例 ID 进入实例详情页,可以查询到接入点信息。


2. 登录 阿里云 Kafka 控制台,单击目标实例 ID 进入实例详情页,下拉页面可以查询到配置信息。



步骤2:配置腾讯云数据连接器 Kafka 连接器连接属性

1. 登录 腾讯云数据连接器控制台,单击新建应用,选择空白应用进行创建。


2. 单击左侧的集成流展开选择 NewFlow 在画布中单击 +选择 Apache Kafka 连接器相关操作。


3. 单击右侧的新建连接器配置并按照指引填入相关参数。


4. 单击下一步,以使用 SASL/PlainText 接入点为例,在连接器配置参数中,依次填写如下配置:


集群地址:填入 Kafka 公网接入域名,此处填写 接入点信息 中网络为公网的域名接入点。
集群Kafka版本:根据购买的 Kafka 实例版本选择对应的版本,此处填写 接入点信息 中的大版本号。
SASL安全认证模式:选择 SASL/PlainText。
SASL用户名:此处填写 配置信息 中的用户名。
SASL密码:此处填写 配置信息 中的密码。
使能TLS安全传输协议:选择 true。


消费者组:填写刚刚创建的 ipaas-consumer。
主题:填写刚刚创建的 ipaas-test。
5. 其他 Kafka 参数请按实际情况填写,也可参见 Apache Kafka 连接器使用指南