Elasticsearch重复数据删除

文章/答案/技术大牛

发布

1回答

删除文档中的重复记录(Elasticsearch)

sql-server、elasticsearch

我正在为Elasticsearch和SQL Server之间的集成编写自己的应用程序，并将SQL Server中选定表中的所有数据发送到Elasticsearch，但我有一个问题。如果我在应用程序中设置将每分钟连接到该表，它将每分钟在Elasticsearch中再次存储这些记录。这使得Elasticsearch文档中有很多重复的记录。Elasticsearch中有没有一个查询可以检查是否有重复的记录(在每个属性中都是重复的)并

浏览 23提问于2019-03-12得票数 2

回答已采纳

2回答

elasticsearch、duplicates

我有一个文档集合，其中每个文档如下所示 "_id": ... , "Content": ...., }如果您能提供任何建议，我们将不胜感激。谢谢。

浏览 30提问于2020-03-06得票数 0

回答已采纳

3回答

Elasticsearch删除重复

elasticsearch

一些记录在我的索引中重复，该索引由一个数字字段recordid标识。或者其他实现这一目标的方法？

浏览 1提问于2014-07-19得票数 15

1回答

复制的ElasticSearch文档

elasticsearch、apache-kafka、lucene、elasticsearch-7

我们的数据提供商通过Kafka发送ous数据。我们的应用程序处理事件，试图找到一个记录和插入记录，如果不存在，或更新，如果收到的记录是不同的保存。在elasticsearch中不应该有任何重复的记录。Problem：偶尔我们必须删除所有数据并重新加载它们，因为有重复的记录。我发现这些克隆的记录仅与插入日期不同。通常情况下，org.codelibs.elasticsearch-cluster-runner上的详细

浏览 3提问于2020-05-13得票数 0

回答已采纳

2回答

如何使Logstash替换旧数据？

elasticsearch、logstash、n-gram

我有甲骨文数据库。Logstash从Oracle检索数据并将其放入ElasticSearch。但是，当Logstash每5分钟进行一次计划的导出时，ElasticSearch中充满了副本，导致旧数据仍然存在。这是一个明显的情况。在这5分钟内，甲骨文的病情几乎没有改变。假设添加2-3行，删除4-5行。创建同名的新索引并进行相同的配置(nGram配

浏览 7提问于2018-11-28得票数 1

回答已采纳

1回答

使用滚动搜索时如何删除elasticsearch中的重复搜索结果？

java、spring、elasticsearch

我正在开发一个集成Java和Elasticsearch的项目。我搜索了，但找不到Java版本。SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); searchSourceBuilder.query(matchQuery("title", "

浏览 1提问于2020-04-23得票数 0

1回答

如何在计划中更新Elasticsearch中的数据？

postgresql、elasticsearch、logstash、elk

我在PostgreSQL数据库中有一个表。我想将该表中的数据插入到Elasticsearch's索引中。我需要按计划更新索引数据。换句话说，删除旧数据并使用新数据进行插入。我有这样的Logstash配置文件，但它不更新索引中的数据。它是插入数据，但同时我看到了旧数据。因此，重复数据会发生。如何正确地按计划更新Elasticsearch中的数据</

浏览 5提问于2019-12-11得票数 0

回答已采纳

2回答

Spark Dataframe upsert to Elasticsearch

scala、apache-spark、dataframe、elasticsearch

我正在使用Apache Spark DataFrame，我想将数据上传到Elasticsearch，我发现可以像这样覆盖它们 .format("org.elasticsearch.spark.sql") .option("es.mappi

浏览 0提问于2018-06-21得票数 5

1回答

使弹性搜索与键或版本同步

search、elasticsearch、lucene

因此，我遇到了一种情况，就是我有很多大型XML文件，我希望在elasticsearch上对这些数据进行整合。电流方式这意味着，在50万项中，我只需添加5,000项已更改的项目--例如，不要重复500,0

浏览 3提问于2015-04-23得票数 0

回答已采纳

1回答

从搜索结果中删除重复项

elasticsearch

我们有一个如下所示的产品列表：问题是，有相当数量的重复产品。由于数据的绝对大小，没有真正的方法来控制向elasticsearch添加重复项，所以我正在寻找一种在查询时过滤重复项的方法。

浏览 0提问于2014-06-06得票数 4

1回答

ElasticSearch无法打开文件读取校验和

elasticsearch

ElasticSearch在两个节点上耗尽了磁盘空间，这是由此产生的错误 [WARN][indices.store ] [odr-es-md15] Can't open fileto read checksumsat org.elasticsearch.index.store.DistributorDirectory.getDirectory(DistributorDirectory.java

浏览 2提问于2014-11-24得票数 0

1回答

我可以从来自另一个查询的数据向Elasticsearch* Kibana查询添加一个计算过的布尔列吗？*

elasticsearch、nosql、calculated-columns、calculated-field

假设我们有一个Elastic索引，我们想要获得该索引的所有文档和一个计算字段，并过滤一个不同的Elastic索引的结果。select id, name, (id IN (select customer_id from invoices where customer_id = 123)) as hasBought

浏览 3提问于2021-02-04得票数 0

2回答

我如何完全卸载麋鹿(Elasticsearch，Logstash，Kibana)？

elasticsearch、logstash、kibana

我在互联网上搜索，我们必须把麋鹿的每一个部分一个一个地整合起来，就像一个独立的基班纳，弹性搜索和日志存储一样。是否有任何命令不需要一个一个地统一所有这些命令，而只使用一个命令？deb https://artifacts.elastic.co/packages/6.x/apt stable main

浏览 0提问于2017-12-16得票数 -1

回答已采纳

1回答

将Elasticsearch* 2.1.1升级到2.2.0 -缺少身份验证令牌？*

authentication、amazon-web-services、elasticsearch、elasticsearch-plugin、elasticsearch-shield

rest.suppressed ] /_cluster/settings Params: {} at org.elasticsearch.action.support.master.TransportMasterNodeAction$AsyncSingleAction$5.onTimeout(TransportMasterNodeAction.java:205) at org.elasticsearch.cluster.

浏览 3提问于2016-02-03得票数 0

回答已采纳

1回答

如何在不删除可视化仪表板的情况下删除Elasticsearch数据？

elasticsearch、aws-elasticsearch

如何才能做到这一点？

浏览 1提问于2018-10-23得票数 0

1回答

在相同字段上保存相同值时，ElasticSearch是否保留磁盘存储

elasticsearch

假设我正在向ElasticSearch发送日志条目。我们正在考虑将调用方法、调用类和代码行添加到日志条目中。由于这些字段将包含相似的值，ElasticSearch是否会尝试通过不为每次具有相同值的情况复制此数据来保留磁盘空间？编辑-补充说明:我没有在任何地方读到Elastic做这件事。我知道一些数据存储系统，如列式数据库，将其数据写入磁盘，以便通过不重复写入重复数据来保留磁盘存储。所以我想知道ElasticSearch</e

浏览 8提问于2017-02-24得票数 0

1回答

如何删除节点？

elasticsearch、kubernetes、azure-aks、elastic-cloud

这是我的Elasticsearch yaml：# Source: elastic/templates/elastic.yamlkind: Elasticsearch name: ichat-els-deployment # updateStrategy:ichat-els-deployment-es

浏览 4提问于2021-10-07得票数 0

2回答

如何最快地删除所有elasticsearch数据

elasticsearch

我的k8s elasticsearch集群(v6.4.3)重新分配数据一天，现在我不想wait.This是集群状态： "active_shards_percent_as_number" : 41.194845763373685现在我不想再等待reshard了，它太慢了，数据是测试日

浏览 1提问于2020-03-08得票数 1

回答已采纳

1回答

ElasticSearch java.io.IOException:没读到..。在码头

docker、elasticsearch、docker-compose

我试着用deffirents版本重新组装elasticsearch的容器，但是我仍然有这个错误。org.elasticsearch.bootstrap.StartupException: ElasticsearchException[java.io.IOException: failed to read[id:1, legacy:false, file:/usr/share/elasticsearch/data/nodes/0/_state/node-1.st]

浏览 1提问于2020-01-17得票数 3

1回答

ElasticSearch -唯一约束的解决方法

database、elasticsearch、unique-constraint

我正在考虑“无唯一约束”问题在ElasticSearch中的一些智能解决方案。我不能使用_id来存储我的唯一字段，因为我将_id用于其他目的。我抓取互联网页面并将它们存储在ElasticSearch索引中。我的规则是，url必须是唯一的(在索引中只有一个给定url的文档)，因此由于ElasticSearch不允许在一个字段上设置唯一约束，所以我必须在插入新页面之前查询索引，以检查是否已经存在带有给定url请告诉我，如果您有任何想法，或请告诉我，您认为这样的解决方案：解决方案1使用其他数据库系统(或者在_id中使用另一个带

浏览 5提问于2014-07-23得票数 1

回答已采纳

点击加载更多

删除文档中的重复记录(Elasticsearch)