使用logstash导出csv文件为空如何解决

原创

zjiekou

发布于 2023-12-06 23:36:59

2570

发布于 2023-12-06 23:36:59

文章被收录于专栏：大数据zjiekou大数据zjiekou

前言：

经常有客户要把ES数据导出csv来分析，但kibana内置导出功能有导出大小限制，推荐客户使用logstash导出csv文件。

问题背景：

ES Serverless服务无法导出csv

报错是无权限操作，ES Serverless服务这里目前还不支持用户导出查询，建议使用logstash导出。

客户logstash配置如下

input {
  elasticsearch {
    hosts => "http://index-xxxx.ap-beijing.qcloudes.com:80"
            user  => "elastic"
            password => "xxxxxxx"
            index => "xxxx"
    query => '{  "query": {
    "range": {
      "@timestamp": {
        "gte": "2023-11-23T13:30:000Z",
        "lte": "2023-11-23T15:00:000Z"
      }
    },
    "bool": {
      "must": [
        {
          "match": {
            "env": "test"
          }
        },
        {
          "match": {
            "table_type": 1
          }
        },
        {
          "match": {
            "response.imageUrl": "16.jpg"
          }
        }
      ]
    }
  }
}'
  }
}

output {
  csv {
    fields => ["*"]
    path => "/mnt/path.csv"
  }
}

客户反馈导出文件为空确实很奇怪，查询是有数据的