专栏首页南非骆驼说大数据如何把Elasticsearch中的数据导出为CSV格式的文件
原创

如何把Elasticsearch中的数据导出为CSV格式的文件

前言|

本文结合用户实际需求用按照数据量从小到大的提供三种方式从ES中将数据导出成CSV形式。本文将重点介Kibana/Elasticsearch高效导出的插件、工具集,通过本文你可以了解如下信息:

1,从kibana导出数据到csv文件

2,logstash导出数据到csv文件

3,es2csv导出数据到csv文件

一、Kibana导出工具

步骤1:点击Kibana;

步骤2:左侧选择数据,筛选字段;点击save,保存并命名

保存字段数据
命名

步骤3:右侧点击:share->csv reports。 一般根据数据文件大小,会花费不同的时间

生成CSV文件

步骤4:菜单栏:选择Management->Reporting->下载

下载并打开已存的文件

注意:当然使用Kibana导出会出现如下几个问题:比如要下载的文件太大,在保存对象生成CSV文件的过程中会出现如下信息:

下载的数据文件太大

如果在下载的时候出现这个问题,需要改一下Kibana配置文件,这个时候需要联系腾讯云售后给与支持。

修改kibana配置文件

当然,我们也可以使用kibana将一些其它保存在导航图的的对象下载下来,在Dashboard的右上角点击Inspect,再点击就可以导出对应可视化报表对应的数据。如下

导出可视化报表对应的数据

总结:kibana导出数据到CSV文件图形化操作方便快捷,但是操作数据不能太大,适合操作一些小型数据的导出。

二、使用logstash导出ES数据成CSV文件

步骤一:安装与ES对应版本的logstash,一般安装完后,默认就集成了logstash-output-csv插件

查看此插件

显然logstash-ouput-csv是在列表中。也就是说我们logstash支持csv格式的输出。我们建立如下的Logstash的配置文件:

定义Logstash事件配置文件

请注意上面的path需要自己去定义时候自己环境的路径。这里我们在fields里定义了我们想要的字段。通过如下命令启动logstash服务 ../bin/logstash -f ../path/convert_csv.conf

结论:Logstash不只光可以把数据传上Elasticsearch,同时它还可以把数据从Elasticsearch中导出。适合大量数据的导出。但是导出时间也会根据数据的大小而长短不一。

三、使用es2csv导出ES数据成CSV文件

可以去官网了解一下这个工具,https://pypi.org/project/es2csv/

用python编写的命令行数据导出程序,适合大量数据的同步导出,速度和效率都比较快。

安装这个过程参考上面的官方链接,如果出现无法安装pip命令,可以参考此链接:

https://www.cnblogs.com/wujf-myblog/p/9644278.html

具体的参数详解可以参考此链接:https://www.kutu66.com/GitHub/article_133864

常用参数如下:

-i 索引名

-q query dsl

-a 认证信息 格式:user: password

-u esurl 格式: http://ip:9200

-o 命名

-r qurey formated

具体执行一个命令操作一下:如下:

es2csv文件格式

因此,执行成功后,就回出现进度条的显示信息。如上图所示。

四、总结

以上3种方法是常见的ES导出到CSV文件的方法,实际工作中使用也比较广泛。大家可以多尝试。当然。elasticsearch-dump也能导,但是比较小众,相当于Mysqldump指令。如果要将ES导出到json格式可以使用它来进行操作,这里就不多说。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

登录 后参与评论
0 条评论

相关文章

  • Elasticsearch:如何把 Elasticsearch 中的数据导出为 CSV 格式的文件

    本教程向您展示如何将数据从 Elasticsearch 导出到 CSV 文件。 想象一下,您想要在 Excel 中打开一些 Elasticsearch 中的数据...

    腾讯云大数据
  • Power Automate导出Power BI数据为CSV格式中文乱码解决方案

    自然的,第三方的工具肯定是需要API密钥的,而且大部分也都是收费的,我们根据上面的链接打开看看,是个英文网站:

    陈学谦
  • 干货 | Elasticsearch、Kibana数据导出实战

    实际业务实战中,大家或多或少的都会遇到导入、导出问题。 根据数据源的不同,基本可以借助:

    铭毅天下
  • ELK学习笔记之Elasticsearch和Kibana数据导出实战

    实际业务实战中,大家或多或少的都会遇到导入、导出问题。 根据数据源的不同,基本可以借助:

    Jetpropelledsnake21
  • vue.js纯前端处理如何将后台返回来的csv数据导出成csv文件

    需要实现一个下载csv文件的功能,但后台没有对这个下载文件进行处理,而是将csv数据传给前台而已,需要前台做一下处理。

    朱季谦
  • 如何把.csv文件导入到mysql中以及如何使用mysql 脚本中的load data快速导入

     1, 其中csv文件就相当于excel中的另一种保存形式,其中在插入的时候是和数据库中的表相对应的,这里面的colunm 就相当于数据库中的一列,对应csv表...

    用户5166556
  • 测试右移之logstash完整配置实例

    logstash是ElasticStack(ELK)的一个重要技术组件,用于对数据进行转换处理。他可以接受各种输入源,并按照记录对数据进行变换,并导出到输出源中...

    霍格沃兹-测试开发学社
  • 使用python对数据库,云平台,oracle,aws,es导入导出实战

    本系列文章主要针对ETL大数据处理这一典型场景,基于python语言使用Oracle、aws、Elastic search 、Spark 相关组件进行一些基本的...

    流川疯
  • Elasticsearch 可视化管理工具

    Elasticsearch 是一个分布式的开源搜索和分析引擎,适用于所有类型的数据,包括文本、数字、地理空间、结构化和非结构化数据。

    YP小站
  • Elasticsearch 跨集群数据迁移方案总结

    elasticsearch-dump是一款开源的ES数据迁移工具, github地址: https://github.com/taskrabbit/elasti...

    Se7en258
  • Vue组件-爬取页面表格中的数据并保存为csv文件

    实际开发过程中需要将前端以表格形式展示的数据保存为csv格式的文件,由于数据涉及到的种类比较多,格式化都是放在前端进行的,所以后端以接口下载的形式返回csv文件...

    从入门到进错门
  • 如何使用 MySQL 的 IDE 导出导入数据表文件

    关于更多 MySQL 数据库以及数据库 IDE 的问题大家可以移步本人专栏——MySQL 数据库。

    白鹿第一帅
  • 手把手教你搭建 ELK 实时日志分析平台

    本篇文章主要是手把手教你搭建 ELK 实时日志分析平台,那么,ELK 到底是什么呢?

    武培轩
  • Logstash: 应用实践 - 装载 CSV 文档到 Elasticsearch

    在进行我们这个实践之前,相信大家已经安装好自己的 Logstash 环境。如果大家还没安装好Logstash,可以参照我之前的文章 “如何安装Elastic栈中...

    腾讯云大数据
  • Python实现Excel与Word文件中表格数据的导入导出

    问题描述:Excel文件“测试文件.xlsx”中有3个worksheet,每个worksheet中的行数和列数都不相同,要求把这3个worksheet中的数据导...

    Python小屋屋主
  • 第10篇-Kibana科普-作为Elasticsearhc开发工具

    另外Elasticsearch入门,我强烈推荐ElasticSearch新手搭建手册和这篇优秀的REST API设计指南 给你,这两个指南都是非常想尽的入门手册...

    普通人刘大
  • 使用 ELK 来分析你的支付宝账单

    ELK 即 elasticsearch, logstash 以及 kibana。Elasticsearch 是一个基于 lucene 的分布式搜索引擎,logs...

    madneal
  • 个人情报收集系统浅谈

    *文章原创作者: ArthurKiller,转载请注明来自FreeBuf(FreeBuf.COM) 前言 IT的全称为information technolog...

    FB客服
  • SMBeagle:一款功能强大的SMB文件共享安全审计工具

    SMBeagle是一款针对SMB文件共享安全的审计工具,该工具可以帮助广大研究人员迅速查看网络中所有的可视文件,并判断目标文件是否可读或可写入。该工具所有的扫描...

    FB客服

扫码关注云+社区

领取腾讯云代金券