数据写入

最近更新时间:2024-06-26 16:15:41

我的收藏

概述

ES Serverless 服务支持通过 ES 原生 API、Logstash、Flink、Kafka 等方式将数据写入到索引中,如果您有云服务器 CVM容器服务 TKE云数据仓库TCHouse-C 等日志采集的需求,也支持在界面一站式可视化配置,只需简单的设置数据源、索引信息,即可将日志采集到索引中,并快速进行检索分析。本文介绍通过 Kibana 以及 Curl 命令写入单个文档、批量写入文档的相关操作。

访问控制

1. 在空间列表,单击对应的空间名称,进入空间基础信息页面。



2. 访问控制模块,我们可以获取到索引的用户名与密码、内网访问地址、Kibana 内网访问地址以及 Kibana 公网访问地址,同时可设置 Kibana 公网访问策略。



3. 访问 Kibana:Kibana 的 DiscoverDev tools 功能已经内嵌到腾讯云控制台,因此,我们可直接在控制台使用检索分析能力,或是通过外链访问 Kibana。
通过控制台:空间详情页侧边栏单击检索分析,即可直接进入相关页面,其中,单击检索分析左侧 index pattern下拉列表,可以切换不同索引视图,日志检索对应 Discover开发工具对应 Dev tools
说明:
内嵌能力需要浏览器支持第三方 Cookie,如无法正常使用,请尝试开启浏览器第三方 Cookie 设置。



通过 Kibana 公网访问地址:单击 Kibana 公网访问地址,进入 Kibana 页面。



在 Kibana 登录页面,输入用户名和密码,用户名和密码可直接在用户管理页面中复制。



进入 Kibana 页面后,单击右上角三条杠,并单击 Dev tools,即可进入开发工具页面。



说明:
Kibana 公网访问有白名单访问机制,即不在访问策略中的 IP 无法访问 Kibana,用于提高访问安全。如页面提示“很抱歉,你没有权限访问”,可单击上图中的“Kibana 公网访问策略”,在弹窗中单击“点击自动获取当前 IP 地址”,将当前的 IP 地址填入进去。




写入单个文档

通过 Kibana Dev Tools

POST /索引名/_doc
{
"@timestamp": "2023-09-28T11:06:07.000Z",
"user":{
"id" : "8a4f500"
},
"message": "Login successful"
}

通过命令行

curl -X POST "项目空间访问地址/索引名/_doc/?pretty" -H 'Content-Type: application/json' -d'
{
"@timestamp": "2023-09-28T11:06:07.000Z",
"user": {
"id": "8a4f500d"
},
"message": "Login successful"
}




注意
您不能使用 PUT /索引名/_doc/文档 ID 的写入请求格式。如要指定文档 ID 写入,请使用 PUT /索引名/_create/文档 ID 的格式。
请确保写入的数据中包含创建索引时设置的时间字段

批量写入文档

通过 Kibana Dev Tools

PUT /索引名/_bulk?refresh
{"create":{ }}
{ "@timestamp": "2023-03-28T11:04:05.000Z", "user": { "id": "vlb44hny" }, "message": "Login attempt failed" }
{"create":{ }}
{ "@timestamp": "2023-03-29T11:06:07.000Z", "user": { "id": "8a4f500d" }, "message": "Login successful" }
{"create":{ }}
{ "@timestamp": "2023-03-30T11:07:08.000Z", "user": { "id": "l7gk7f82" }, "message": "Logout successful" }

通过命令行

curl -X PUT "项目空间访问地址/索引名/_bulk?refresh&pretty" -H 'Content-Type: application/json' -d'
{"create":{ }}
{ "@timestamp": "2023-03-28T11:04:05.000Z", "user": { "id": "vlb44hny" }, "message": "Login attempt failed" }
{"create":{ }}
{ "@timestamp": "2023-03-29T11:06:07.000Z", "user": { "id": "8a4f500d" }, "message": "Login successful" }
{"create":{ }}
{ "@timestamp": "2023-03-30T11:07:08.000Z", "user": { "id": "l7gk7f82" }, "message": "Logout successful" }
'



注意
bulk 操作仅支持 create
请确保写入的数据中包含创建索引时设置的时间字段