经常有客户要把ES数据导出csv来分析,但kibana内置导出功能有导出大小限制,推荐客户使用logstash导出csv文件。
ES Serverless服务无法导出csv
报错是无权限操作,ES Serverless服务这里目前还不支持用户导出查询,建议使用logstash导出。
input {
elasticsearch {
hosts => "http://index-xxxx.ap-beijing.qcloudes.com:80"
user => "elastic"
password => "xxxxxxx"
index => "xxxx"
query => '{ "query": {
"range": {
"@timestamp": {
"gte": "2023-11-23T13:30:000Z",
"lte": "2023-11-23T15:00:000Z"
}
},
"bool": {
"must": [
{
"match": {
"env": "test"
}
},
{
"match": {
"table_type": 1
}
},
{
"match": {
"response.imageUrl": "16.jpg"
}
}
]
}
}
}'
}
}
output {
csv {
fields => ["*"]
path => "/mnt/path.csv"
}
}
客户反馈导出文件为空确实很奇怪,查询是有数据的
为此自己搭建logstash测试了一下,测试结果如下
csv打开之后只有行数没有数据
这个问题导出csv为空是因为数据有嵌套字段,导出csv会不可见
解决方案:
用output file来导出
https://www.elastic.co/guide/en/logstash/7.14/plugins-outputs-file.html
导出结果
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。