如何快速将S3存储桶中的json文件导入AWS elasticsearch？
如何快速将S3存储桶中的json文件导入AWS elasticsearch？
提问于 2019-04-15 04:09:12
当前内容： 1.S3桶中的一些json类型文件。（约3.7TB） 2.AWS Elasticsearch
需求： 将此json文件导入AWS Elasticsearch。
目前的工作： 1。起初，我认为AWS提供了这样的功能，但当我查看一些信息（Google Search，AWS公共文档）时，我没有找到快捷功能，该怎么做才能实现这一点。
2.我想分析这些json数据，例如某种类型的内容比例，取出某种类型的值，除了AWS Elasticsearch之外还有更好的解决方案吗？EMR还是其他什么？
回答 1
Stack Overflow用户
发布于 2019-04-15 13:15:48
最简单的解决方案是使用AWS Athena直接在S3中对您的数据运行SQL查询。甚至可以使用AWS Glue 抓取数据并为Athena编目。Athena公开了一个端口，可以使用JDBC或其他SQL连接器库进行连接。
但是，Athena查询可能需要几秒钟到几分钟，具体取决于拥有的数据量，数据的存储方式以及正在运行的查询类型。如果需要更快的查询响应时间，那么可以使用ElasticSearch。要将数据导入ElasticSearch集群，可以使用S3 put事件触发lambda函数，该函数会将文件加载到ElasticSearch中。
Edit：对于现有的数据，你可以使用数据库迁移服务将数据从S3移动到ElasticSearch。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/-100006594
复制相关文章
相似问题