前提条件
操作步骤
进入新建页面
登录 ES 控制台，单击数据接入，进入数据链路列表。
单击新建数据链路，进入新建页面。
数据链路配置
填写数据链路基本信息
1. 填写数据链路名称，将根据该名称自动生成数据链路 ID。
2. 选择地域，后续数据链路的相关组件与资源，都将来自该地域。
3. 选择数据源，当前日志场景支持 CVM 与 TKE 等数据源、指标场景支持 CVM，后续将支持更多的数据源，其他数据同步配置如 MySQL 等可通过相关文档指引进行。
4. 单击开始创建，将进入数据链路组件配置页面。
进行数据链路组件配置
1. 建议数据链路各个组件在同一个 VPC 以保证网络互通，否则您需要自行打通网络连接。详情可参见 云联网 CCN。
2. 通过选择数据链路模式，可切换该链路组件配置。
3. 为了创建数据接入链路，通过助手下发配置时，要使用用户密钥，初次点击“新建数据链路”时，需要您授权创建服务相关角色，授权“腾讯云 Elasticsearch 服务”访问您的“自动化助手服务”、“云服务器 CVM”、“容器服务 TKE”、“消息队列 CKafka”，使用相关服务接口完成相应功能。
以下将通过 CVM 及 TKE 两个日志采集链路的配置进行相关说明。
CVM-Filebeat-CKafka-Logstash-ES
数据源
1. 选择 VPC。
2. 选择 CVM，仅支持 Linux 系统的 CVM，且 CVM 必须安装自动化助手后才能采集数据。查看安装方法。
数据采集
1. 填写采集配置相关内容。
2. output 信息将在提交时根据您填写的链路配置自动填充，请勿在此输入相关信息。
数据缓存
1. 选择 CKafka 实例。
2. 从 Ckakfa 实例已经路由打通的 VPC 中，选择跟当前链路组件有交集的 VPC。
3. 创建或者选择已有 Topic，当选择创建 Topic 时，如您未填写 Topic 名称，将自动生成格式为{数据链路 ID_topic_ 随机字符串}的 Topic 名称。
数据加工
1. 选择 VPC。
2. 选择 Logstash 实例。
3. 生成数据链路时，将自动在该实例下创建名称为{数据链路 ID_lgpipe_ 随机字符串}的管道，如需对数据进行加工，可在数据链路创建完成后到对应的 Logstash 实例下修改相关管道的配置。
数据目的
1. 选择 VPC。
2. 选择 ES 实例。
3. 选择写入的索引类型，自治索引 适用于2022年6月1日之后创建的7.14.2版本集群，早于此时间创建的7.14.2版本集群重启后可支持。低于7.14.2版本的集群需升级至7.14.2版本。
4. 填写索引名称，当写入的索引类型为普通索引时，该名称为索引别名，您可根据该别名访问您的数据。如您未填写索引名称，将自动生成格式为{数据链路 ID_index_ 随机字符串}的索引名称。
5. 在写入的索引类型中，如您选择的是新建自治索引，您可对字段映射进行预定义；如您选择的是选择自治索引，请确保采集的 "时间字段" 与所选自治索引的 "时间字段" 完全一致，否则将导致数据写入失败。
TKE-Filebeat-CKafka-Logstash-ES
数据源
1. 选择 VPC
2. 选择 TKE 集群。
数据采集
1. 命名空间：必选。第一个下拉可选择 包含/不包含。第二个下拉可选择命名空间，支持多选，不支持选择不包含全部命名空间。
2. Pod 标签：选填。支持创建多个 Pod 标签，标签之间是逻辑与关系。
3. 容器名称：选填。填写的容器名称必须在采集目标集群及命名空间之下，为空时，Filebeat 会采集命名空间下符合 Pod 标签的全部容器。
4. 日志内容过滤：选填。根据关键字过滤日志，可填多个关键字，以逗号分隔。
5. 高级采集配置：选填。个性化设置解析方式、过滤等，一般采用默认配置，详情请参考 配置文件填写参考。
数据缓存
1. 选择 CKafka 实例。
2. 从 Ckakfa 实例已经路由打通的 VPC 中，选择跟当前链路组件有交集的 VPC。
3. 创建或者选择已有 Topic，当选择创建 Topic 时，如您未填写 Topic 名称，将自动生成格式为{数据链路 ID_topic_ 随机字符串}的 Topic 名称。
数据加工
1. 选择 VPC。
2. 选择 Logstash 实例。
3. 生成数据链路时，将自动在该实例下创建名称为{数据链路 ID_lgpipe_ 随机字符串}的管道，如需对数据进行加工，可在数据链路创建完成后到对应的 Logstash 实例下修改相关管道的配置。
数据目的
1. 选择 VPC。
2. 选择 ES 实例。
3. 选择写入的索引类型，自治索引 适用于2022年6月1日之后创建的7.14.2版本集群，早于此时间创建的7.14.2版本集群重启后可支持。低于7.14.2版本的集群需升级至7.14.2版本。
4. 填写索引名称，当写入的索引类型为普通索引时，该名称为索引别名，您可根据该别名访问您的数据。如您未填写索引名称，将自动生成格式为{数据链路 ID_index_ 随机字符串}的索引名称。
5. 在写入的索引类型中，如您选择的是新建自治索引，您可对字段映射进行预定义；如您选择的是选择自治索引，请确保采集的 "时间字段" 与所选自治索引的 "时间字段" 完全一致，否则将导致数据写入失败。
