目前,在我的组织中,我们持有弹性搜索中的半结构化数据,我们使用查询进行快速文本搜索和聚合,但是我们有其他产品在其他数据库中,所以我们希望将所有的数据放在像HDFS这样的数据湖中。
因此,如果我使用HDFS作为一个数据湖来保存原始数据,那么如何使用弹性搜索呢?我指的是在使用之前的弹性搜索索引数据,那么是否可以将数据保存在数据湖中,然后弹性搜索就可以直接从数据湖查询数据,而不需要将数据存储在弹性中?或者我会把数据保存在数据湖中,然后处理它,然后再用弹性存储它,这样它就可以索引它了吗?
总之,我想知道弹性和hadoop干涉的概念。
发布于 2022-11-22 14:31:52
Spark和Hive都提供Elasticsearch连接器;除了可能的备份功能之外,不需要将文档导出到HDFS中。
https://www.elastic.co/guide/en/elasticsearch/hadoop/current/reference.html
https://stackoverflow.com/questions/74518414
复制相似问题