简介
数据导出至 Elasticsearch Service(ES)是腾讯云对象存储(Cloud Object Storage,COS)基于 云函数(Serverless Cloud Function,SCF) 为用户提供的数据出湖方案,可以帮助用户将 CSV、JSON 等文件格式的数据导出至同地域的腾讯云 Elasticsearch 服务,用于快速构建日志分析、异常监控等各类业务。
注意事项
- 数据导出至 ES 功能涉及 COS 数据检索接口,相关的限制说明请参见 Select 概述。
- 若您此前在对象存储控制台上为存储桶添加了数据导出至 ES 规则,可以在 云函数控制台 上看到您所创建的数据导出至 ES 函数,请不要删除或修改该数据导出至 ES 函数,否则可能导致您的规则不生效。
- 当前数据导出至 ES 功能仅支持广州、上海、北京、成都。
- 对象存储数据导出至 ES 功能依赖于云函数服务,云函数服务为用户提供了 免费额度,超出免费额度的部分需要按照 云函数产品定价 收费。
操作步骤
- 登录 对象存储控制台。
- 在左侧导航中,单击应用集成 > 数据导出,找到数据导出至 ES。
- 单击配置规则,进入规则配置页面。
- 单击添加函数。
注意:
如果您尚未开通云函数服务,请前往 云函数控制台 开通云函数服务,按照提示完成服务授权即可。
- 在弹出的窗口中,配置如下信息:
- 函数名前缀:作为函数的唯一标识名称,创建后不可修改。您可以在 云函数控制台 上查看该函数。
- 场景选择:选择您希望导出的日志来源,推荐使用 COS 日志文件导出。
- 源存储桶:日志所保存的存储桶名称,如果选择 COS 日志文件导出,需要先开启 COS 日志存储功能。
- SCF 授权:数据导出至 ES 需要授权云函数从您的存储桶中读取日志文件。因此需要添加此授权。
- 单击填写预设参数,进行数据导出至 ES 配置,配置项说明如下:
- 服务版本:ES 的版本,支持7.x和6.x。
- 访问方式:您的 ES 的访问方式。如果选择 VPC 内网访问,需要填写对应的 VPC 。
- 访问地址:您的 ES 的访问地址,必须以
http://
或https://
开头。 - 索引名称:您创建的 ES 检索索引。
- 鉴权配置:您的 ES 鉴权方式,如果是腾讯云 ES,目前仅支持需鉴权,您需要填写对应的用户名称和用户密码。
- 速率上限:导出至 ES 的速率上限。
- 如果您希望做一些个性化的日志数据提取,请单击上一步进行配置,通常情况,建议直接单击确认,完成函数的添加。
您可以对新创建的函数进行如下操作:- 单击日志,查看数据导出至 ES 的历史运行情况。当数据导出至 ES 出现报错时,您还可以通过单击日志,快速跳转到云函数控制台查看日志错误详情。
- 单击详情,查看当前函数的详细配置。
- 单击编辑,修改数据导出至 ES 规则。
- 单击触发,可以选择存储桶内已有的一份日志直接触发导出至 ES。
- 单击删除,删除不使用的数据导出至 ES 规则。