在Elasticsearch中删除海量数据的最佳方式是什么？
在Elasticsearch中删除海量数据的最佳方式是使用批量删除操作。批量删除操作可以显著提高删除效率，减少网络通信开销和索引更新的负担。
具体步骤如下：
- 使用Elasticsearch提供的批量删除API，如Bulk API或Delete By Query API。这些API允许一次性提交多个删除请求，减少了网络通信的开销。
- 将待删除的数据按照一定的规则划分为多个批次。可以根据数据的索引、类型、时间范围等进行划分，以便更好地利用Elasticsearch的分布式特性。
- 对每个批次的数据，使用批量删除API发送删除请求。可以将多个删除请求打包成一个批量请求，减少网络通信的次数。
- 监控删除操作的进度和性能。可以使用Elasticsearch的监控工具或第三方工具来监控删除操作的进度和性能指标，以便及时发现和解决问题。
Elasticsearch是一个开源的分布式搜索和分析引擎，具有高性能、可扩展性和灵活性的特点。它广泛应用于日志分析、全文搜索、实时数据分析等场景。
推荐的腾讯云相关产品是TencentDB for Elasticsearch，它是腾讯云提供的托管式Elasticsearch服务。TencentDB for Elasticsearch提供了自动化的集群管理、数据备份与恢复、性能优化等功能，帮助用户更轻松地使用和管理Elasticsearch。详情请参考：https://cloud.tencent.com/product/es
相关·内容
1回答
在Elasticsearch中删除海量数据的最佳方式是什么？
elasticsearch
我想删除大量的数据，比如ElasticSearch中成千上万的记录。我考虑过两种方法，一种是只在一个delete_by_query请求中删除，使用requests_per_second参数来控制速率。
浏览 88提问于2021-08-27得票数 0
1回答
将elasticsearch中的已分析更改为未分析的可行方法是什么？
javascript、node.js、elasticsearch、migration
我将数据从Mysql迁移到ElasticSearch，然后我发现elasticSearch的默认值是在string上分析的。现在，我想将一些字符串字段从已分析更改为未分析。我们不能直接从elasticsearch中更改。在不删除数据的情况下更改它的最佳方式是什么？或者我应该先备份elasticSearc
浏览 1提问于2015-05-11得票数 0
2回答
同时更新/删除记录而不影响其他处理海量数据的进程？
sql-server
那么，在不影响其他进程处理海量数据(超过500万条记录)的情况下，并发更新/删除记录的最佳实践是什么？谢谢你。
浏览 0提问于2014-08-13得票数 0
2回答
使用redux-persist而不是本地DB for big data？React Native
react-native、redux-persist、react-native-sqlite-storage
我正在使用React Native，我想在本地存储笔记，我正在寻找在本地存储数据的最佳方式。所以，首先我想到了sql，但它有点复杂，然后我转向了redux，它很容易使用。那么，对于海量数据，最好的解决方案是什么呢？
浏览 24提问于2021-10-19得票数 0
2回答
Rails将海量散列数据保存到数据库
ruby-on-rails、ruby、ruby-on-rails-5
我有一个有2M数据的<code>D0</code>。我需要将所有数据从<code>D1</code>传输到<code>D2</code>。哈希键适合数据库列。使用Rails遍历这种海量数据的最佳
浏览 7提问于2019-08-22得票数 0
1回答
kinesis如何将数据流传输到自我管理的elasticsearch？
amazon-web-services、elasticsearch、amazon-kinesis
我在EKS中托管Elasticsearch集群，我想通过Kinesis Firehose将所有的cloudwatch组流式传输到这个Elasticsearch集群。但AWS Kinesis firehose不支持流数据到除AWS托管的ES以外的Elasticsearch群集。
将数据流式传输到自托管ES集群的最佳方式是什么？
浏览 1提问于2021-03-01得票数 6
8回答
海量数据--发送它们的最佳方式是什么？
java、networking、data-transfer
我们有这样的场景：在服务器上存储了两种类型的数据：-一些信息-基本上只有几个字符串-二进制数据Web服务不是最好的解决方案，因为速度，内存等。如果可能的话，我想错过低级套接字连接...维泰
浏览 1提问于2009-01-02得票数 4
回答已采纳
1回答
可扩展性Java WebService的ElasticSearch设计
java、elasticsearch
我目前正在设计一个小项目，并希望就如何最好地使其更多的未来证明一些建议。我的计划是使用CXF将其作为web服务打开，java中间层用于业务逻辑，elasticsearch在后台存储和查询数据。我的问
浏览 2提问于2011-11-17得票数 2
回答已采纳
1回答
将Elasticsearch 2.X数据导入到6.X？
elasticsearch、elk
我从Elasticsearch 2.4中获得了一些数据/日志&我已经运行了一个新的Elasticsearch 6.X。谢谢!
浏览 0提问于2018-04-21得票数 0
回答已采纳
1回答
elasticsearch -我应该在一个表中组织所有的数据吗？
elasticsearch
我是ElasticSearch和搜索的新手。我不太清楚像这样搜索数据库的最佳实践是什么。我对25个数据库表执行了一次大型SQL select，以获得所需的所有数据。我之所以这样做，主要是因为我需要Facets。
这在ElasticSearch中有什么意义吗？如何组织要在ElasticSearch中搜索
浏览 0提问于2013-03-11得票数 2
1回答
删除数据库项目时如何从elasticsearch中删除项目
elasticsearch
我的api根据数据库记录生成一个提要。Elasticsearch使用一个脚本来使用这个提要。如果从我的数据库中删除了一个条目，那么它将不会出现在提要中，因此更新脚本不会将其从elasticsearch中删除。
处理这种情况的最佳方法是什么？我应该只软删除数据库中的项目吗？
浏览 0提问于2019-03-07得票数 2
1回答
JanusGraph如何处理弹性搜索和ScyllaDb(卡桑德拉)之间的数据一致性
elasticsearch、janusgraph、scylla、janus
我们计划在生产中使用JanusGraph和ScyllaDb作为存储后端，elasticsearch作为我们的索引后端。elasticSearch对存储在ScyllaDB中的数据进行索引，我们并不控制用ElasticSearch编写数据的方式和时间，我们只是提到要索引的字段(顶点属性)。
我已经通过了。但是，如果有人能提供更多关于以下几点的细节，对我们将是非常有帮助
浏览 7提问于2021-02-11得票数 6
1回答
elasticsearch:限制磁盘空间
elasticsearch、graylog
我将elasticsearch与Graylog结合使用。这里的最佳实践方法
浏览 0提问于2016-12-06得票数 0
回答已采纳
2回答
Drupal6:海量图片上传？
image、upload、drupal-6
我有一个稳定的图片库，使用CCK，视图和Imagecache。然而，目前这需要用户一次上传一张图片，这对大多数人来说是不可接受的单调乏味。在Drupal上实现海量图片上传的最佳方式是什么？
浏览 0提问于2009-08-27得票数 0
1回答
重建索引、弹性搜索还是更新索引？
elasticsearch、nest
我现在是在弹性搜索，我不知道如何更新弹性搜索索引，类型或文档，而不删除和重新索引？或者这是实现这一目标的最佳方式？因此，如果我的sql产品表中有产品，我是否应该更好地删除产品类型，并将其重新索引，甚至将整个数据库作为索引放在弹性弧上。最好的用例是什么?我如何实现它？我希望最好使用Nest，但如果更简单，ElasticSearch也适用于我。
谢谢
浏览 3提问于2015-08-20得票数 0
1回答
对DynamoDB数据进行排序
amazon-web-services、amazon-dynamodb
从DynamoDB中检索按属性排序(没有索引)的所有数据的最佳方式是什么？
对该属性进行索引是否有助于获得排序的所有记录？如果我选择用ElasticSearch对其进行备份，我是否可以执行一次扫描，以从ElasticSearch中获取按我想要的属性排序的所有记录？
浏览 1提问于2017-12-16得票数 0
1回答
在ember js中批量提交？
javascript、ember.js、ember-data、ember-cli
我有7k数量的数据，并且我正在使用ember data。);
promise.then(function( /* info */ ) { });当我对像7k这样的大量数据使用它时，我得到了错误Error net::ERR_INSUFFICIENT_RESOURCES，但是如果我对小数据使用相同的请求，它就可以工作。在EmberJs<em
浏览 3提问于2015-12-29得票数 2
1回答
线图数据处理问题
charts、bar-chart、linechart、swiftcharts、cumulative-line-chart
在API中处理行图数据的最佳方法是什么？
我厌倦了正常的X，Y值，但是每个类别都有大量数据，所以很难处理。我的问题是我应该从服务器获得哪些数据，所以我将很容易地显示这些海量数据。
浏览 9提问于2022-03-31得票数 0
1回答
管理用于android应用程序的大型数据插入sqlite数据库
android、mysql、sqlite
我正在制作一个android应用程序，用于处理孟加拉国公交车、火车和平原的柜台信息。我想把这些信息存储在sqlite数据库中。但我想不出用表格的形式存储这些海量信息的最佳方法是什么。我的意思是，我需要把所有的数据编码到我的src文件中？或者，该数据库中是否有任何图形用户界面(如MySql数据库)可以将数
浏览 3提问于2014-05-11得票数 1
回答已采纳
1回答
弹性堆栈中的警报
elasticsearch、kibana、devops、elastic-stack、kibana-7
在ElasticSearch中创建警报的最佳方式是什么？我想创建警报，并通过邮件得到通知，如果它超过了门槛。我使用的是Elastic Stack 7.9.0
浏览 17提问于2021-02-12得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
