Elasticsearch reindex API -无法对大量文档重新编制索引

Elasticsearch reindex API是Elasticsearch提供的一个用于重新编制索引大量文档的API。它允许用户在Elasticsearch集群中重新索引现有的文档数据，以便进行数据重组、数据迁移或者对数据进行修改等操作。

Elasticsearch reindex API的主要优势包括：

高效性：reindex API能够高效地处理大量文档的重新编制索引，通过并行处理和批量操作，可以显著提高索引的速度和效率。
灵活性：reindex API支持多种数据源和目标索引的组合，可以从一个或多个源索引中选择性地复制、转换和过滤数据，并将其重新索引到一个或多个目标索引中。
可靠性：reindex API具有自动重试和错误处理机制，可以在遇到错误或中断时自动恢复，并保证数据的一致性和完整性。
可扩展性：reindex API可以与Elasticsearch集群的分片和副本机制无缝集成，可以根据需要进行水平扩展，以处理更大规模的数据重新索引任务。

Elasticsearch reindex API的应用场景包括：

数据迁移：当需要将数据从一个索引迁移到另一个索引时，可以使用reindex API来实现数据的平滑迁移，同时可以对数据进行转换和过滤。
数据重组：当需要对现有数据进行重新组织、合并或拆分时，reindex API可以帮助实现数据的重组，以满足不同的业务需求。
数据修复：当索引中存在错误、缺失或损坏的数据时，reindex API可以用于修复索引中的数据问题，保证数据的一致性和准确性。
数据备份和恢复：通过将数据重新索引到不同的索引中，可以实现数据的备份和恢复，以应对意外数据丢失或灾难恢复的需求。

推荐的腾讯云相关产品：腾讯云Elasticsearch

腾讯云Elasticsearch是腾讯云提供的一种托管式Elasticsearch服务，具备高可用、高性能、易扩展等特点。通过腾讯云Elasticsearch，用户可以方便地使用reindex API来重新编制索引大量文档。

产品介绍链接地址：https://cloud.tencent.com/product/es

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Elasticsearch文档和映射

生成的JSON在Elasticsearch中编制索引。 Elasticsearch文档位于分片的一部分中，该分片也是Lucene索引。随着附加文件的发布，细分市场也在增长。...最初删除文档时，实际上不会立即从Elasticsearch中删除它。相反，它被标记为已删除，使用户无法访问，但仍在该段中。...文件通过API Elasticsearch的API允许您单独和批量创建，获取，更新，删除和索引文档（取决于端点）。...重新编制。在后一种情况下，您应该在需要更新现有字段定义时重新索引数据。为什么？...请注意，要重新索引，您需要使用新名称创建新索引 - 您无法将文档重新索引到与原始名称相同的新索引中。

1.7K1 0

Elasticsearch：如何轻松安全地对实时 Elasticsearch 索引 reindex 你的数据

在很多的时候，由于一些需求，我们不得不修改索引的映射，也即 mapping，这个时候我们需要重新索引（reindex）来把之前的数据索引到新的索引中。...将数据从 production_logs 重新索引到 production_logs_1POST _reindex?...案例 2.2：索引是直接对索引进行的，没有摄取管道在这种情况下，需要执行更多步骤，遗憾的是无法创建别名来替换原始索引，但你仍然可以将新映射应用于实时索引。...production_logs 索引不会获得任何新文档，因此我们可以将数据从该索引重新索引到一个名为 production_logs_orig 的新文档。POST _reindex?...production_logs 索引之间已编制索引的所有数据production_logs 索引已重新创建并收集所有新数据（在如下的步骤中进行操作）要回到单索引状态，我们只需将数据从 production_logs_orig

691 0

关于重建索引 API 使用和故障排查的 3 个最佳实践

重建索引API功能：在集群之间传输数据重新定义、更改和/或更新映射通过采集管道进行处理和编制索引通过清除已删除的文档回收存储空间通过查询筛选器将大型索引拆分成较小的索引组常见问题处理症状：Kibana...actions=*reindex&wait_for_completion=false&detailed这个 API 将向您显示当前在 Elasticsearch 集群中运行的所有重建索引 API，如果您在此列表中没有看到您的重建索引...如果使用上文提到的 API 无法找到重建索引 API 操作，可能这又是另一个问题，下面我们一个一个地解决。...现在，我们有两个选择：将“conflicts”设置为“proceed”，这样重建索引 API 将忽略无法索引的文档，转而索引其他文档。或者，我们也可以选择修复冲突，这样就可以为所有文档重建索引。...这些错误中 99% 是源索引和目标索引之间的字段类型不匹配。如果在定义了映射或模板后，问题仍然存在，则表明某些文档可能无法建立索引，并且默认情况下不会记录错误。

1421 0

所有您需要了解的关于Elasticsearch 5.0：索引管理

所有这一切，在保持尺寸不太大或太小的碎片的同时，对于优化搜索性能非常重要（我通常建议在磁盘上安装一百万个文档碎片和最大5-10GB的大小）。尽管有一个问题 - 创建索引后无法更改碎片的数量。...值得一提的是，相对较新的Reindex API在这种使用模式中非常有用 - 无论何时重建索引操作不是由于数据更改，而是索引映射更改，您都可以利用Elasticsearch从旧索引发出重新索引一个新的映射定义了新的映射...这意味着您希望在任何给定时间优化写入活动索引，这意味着您的节点可以支持的碎片数量很多。超分割将帮助您实时获取更多数据，并避免由于大量索引请求而导致Elasticsearch在索引编制方面推迟或落后。...此外，因为在滚动索引用例中，这个索引永远不会被再次写入，所以您可以强制合并它（但要确保不会以分片太大为结束！），压缩并将其标记为只读。这将确保对这些索引的高效搜索。...该Index Rollover API解决了其余的问题。这是一个很好的新功能，它利用别名根据索引中的文档数量或基于第一个索引文档的时间为索引提供配额。

1.7K3 0

Elastic 认证（ECE）2021 年 7 月版本升级解读

图片来自：Elastic官方文档 data streams 适用场景：使用Elasticsearch预处理、搜索和管理大量时间序列数据的场景。...使用ILM（索引生命周期管理）自动管理索引来扩展规模并降低成本的场景。在 Elasticsearch 中为大量时间序列数据编制索引，但很少删除或更新文档的场景。...传统的解决方案：重建索引然后 reindex 数据，或者结合 ingest 预处理再 reindex 数据。而有了 runtime fields，如上的操作就变得非常简单和高效，无需再导数据了。...图片来源网络用途：将现有的Elasticsearch索引转换为汇总索引，为后续处理和分析提供了新的视角和可能。...比如：7.12 中的 REST API 部分承载了 7.2 版本各个分考点的内容。 ? 第二：版本升级题库必然会随着升级，意味着难度可能会有调整。

8543 0

Elasticsearch 8.X reindex 源码剖析及提速指南

/java/org/elasticsearch/index/reindex/ReindexRequest.java reindex 常见问题： 2、reindex 源码本质 reindex 操作的本质是从一个或多个源索引中读取文档...2.2 查询和过滤可以为源索引定义一个查询（使用 setSourceQuery 方法），以确定哪些文档应该被重新索引。也就是可以迁移满足给定检索语句的数据。...2.5 远程源索引 reindex 不仅可以在当前 Elasticsearch 集群中的索引之间移动文档（如图 1 所示），还可以从一个远程的 Elasticsearch 集群读取文档（如图 2 所示...实际命令: 在 Elasticsearch REST API 中，进行带切片的重索引操作的命令可能如下： POST _reindex { "source": { "index": "old_index...3.4 增加硬件资源增加 Elasticsearch节点的 CPU、内存和I/O能力可以提高 reindex 的速度。如果我们正在从远程集群进行重新索引，确保两个集群都有足够的资源。

3033 0

Elasticsearch探索: Reindex API

它可以帮我们把数据从一个 index 到另外一个 index 进行重新reindex。...reindex 接口，我们必须满足一下的条件： _source 选项对所有的源 index 文档是启动的，也即源 index 的 source 是被存储的 reindex不会尝试设置目标索引。...重新索引大量文档可能会使你的群集泛滥甚至崩溃。...来自远程服务器的重新索引使用默认为最大大小为100mb的堆栈缓冲区。如果远程索引包含非常大的文档，则需要使用较小的批量大小。下面的示例设置非常非常小的批量大小10。...默认值是1s，在做reindex时可以将每个索引的refresh_interval到30s或禁用（-1）。如果正在进行大量数据导入，reindex就是此场景，先将此值设置为-1来禁用刷新。

2.1K1 1

谈谈最近ES运维中遇到的几个有意思的问题

一、Kibana 上无法正常Discovery 日志的问题问题描述：客户同一个集群，同一个索引里的某些文档，用API能直接搜出来，但是在discovery上不能正常搜索，换另外一个id又能正常展示....，能在discovery界面正常返回的带时间戳字段，而不能返回的文档并不具备时间戳字段“@timestamp”，因此，不具备该字段的文档就无法正常在kibana返回，但是API确是可以正常搜索。...二、Reindex 复制索引数据报错导致复制失败问题描述：客户将存量索引通过reindex的方式拷贝到新生产的索引上，ES 集群版本为：6.4.3 POST _reindex { "source":...于是删掉新索引的type，重新reindex就没有报错了。...Reindex指定链接迁移参考链接：https://www.elastic.co/guide/en/elasticsearch/reference/6.4/docs-reindex.html

1.3K4 0

Elasticsearch 实战案例（索引切分、模板、别名、数据迁移）

Elasticsearch的别名，就类似数据库的视图，别名不仅仅可以关联一个索引，它能聚合多个索引，下文还会提到别名的更重要的特性。...的REST API进行设置，具体详情参考官网：https://www.elastic.co/guide/en/elasticsearch/reference/6.5/docs.html ,下文中的类似代码块都是此类调用...的方式无法满足我们的需求，这时我们就需要使用Elasticsearch的template特性：https://www.elastic.co/guide/en/elasticsearch/reference...，这时我们通常使用Elasticsearch的reindex特性：https://www.elastic.co/guide/en/elasticsearch/reference/6.5/docs-reindex.html...如果要进行大量批量导入，请考虑通过设置index.number_of_replicas来禁用副本：0。主要原因在于：复制文档时，将整个文档发送到副本节点，并逐字重复索引过程。

2.5K3 0

Elasticsearch 预处理没有奇技淫巧，请先用好这一招！

1.3 线上实战问题 3——更新数组元素我想对一个list每个值后面都加一个字符: 比如 {"tag":["a","b","c"]} 这样一个文档我想变成 {"tag":["a2","b2","...Ingest 节点的本质——在实际文档建立索引之前，使用 Ingest 节点对文档进行预处理。...Ingest 节点拦截批量索引和单个索引请求，应用转换，然后将文档传递回单个索引或批量索引API 写入数据。下面这张图，比较形象的说明的 Elasticsearch 数据预处理的流程。 ?...划重点：Ingest 实现在实际文档编制索引（索引化）之前对文档进行预处理。...创建索引、创建模板、更新索引、reindex 以及 update_by_query 环节都可以指定 pipeline。

2.1K1 0

【Elasticsearch系列之八】通过reindex迁移ES数据

具体见官方文档说明：https://www.elastic.co/guide/en/elasticsearch/reference/7.3/reindex-upgrade-remote.html 下面简单介绍...2) 调用 reindex api 以下操作表示从源 ES 集群中查询名为 test1 的索引，查询条件为 title 字段为 elasticsearch，将结果写入当前集群的 test2 索引。..." } } }, "dest": { "index": "test2" } } 从源索引中提取文档源，并将文档索引到目标索引中...可以将所有文档复制到目标索引，或为文档的子集重新索引。_reindex获取源索引的快照，但是其目标必须是其他索引，因此不会发生版本冲突。...ES 集群从源 ES 集群通过备份api创建数据快照，然后在目标 ES 集群中进行恢复 reindex是Elasticsearch提供的一个api接口，可以把数据从一个集群迁移到另外一个集群网络要求

9.4K5 1

如何在 Elasticsearch 中使用 pipeline API 来对事件进行处理

集成X-Pack高级特性，适用日志分析/企业搜索/BI分析等场景 ---- 在 Elasticsearch 5.0 之前，如果我们想在将文档索引到 Elasticsearch 之前预处理文档，那么唯一的方法是使用...Elasticsearch 缺乏预处理/转换文档的能力，它只是按原样索引文档。...此预处理通过截取批量和索引请求的摄取节点执行，它将转换应用于数据，然后将文档传递回索引或批量 API。...提示：如果缺少处理器中使用的字段，则处理器将抛出异常，并且不会对文档编制索引。为了防止处理器抛出异常，我们可以利用 “ignore_failure”：true 参数。...内置 processors 默认情况下，Elasticsearch 提供大量的ingest处理器。

2.8K2 0

Elasticsearch: Reindex接口

它可以帮我们把数据从一个 index 到另外一个 index 进行重新reindex。...1.png 为了能够使用 reindex 接口，我们必须满足一下的条件： _source 选项对所有的源 index 文档是启动的，也即源 index 的 source 是被存储的 reindex 不是帮我们尝试设置好目的地...一种办法是删除现有的 twitter2 索引，让后修改它的 mapping，再重新索引所有的数据。这对于一个两个文档还是可以的，但是如果已经有很多的数据了，这个方法并不可取。...设置 op_type to create 将导致 _reindex 仅在目标索引中创建缺少的文档。..."index": "twitter" }, "dest": { "index": "new_twitter", "op_type": "create" }} Throttling 重新索引大量文档可能会使你的群集泛滥甚至崩溃

1K4 0

Elasticsearch 线上实战问题及解决方案探讨

Reindex 操作本质上是 Elasticsearch 提供的高级复制，它会从源索引读取文档并写入目标索引。对于大型索引，这可能成为一个瓶颈，因为它需要大量的IO和网络带宽。...反馈和问到最多的问题就是：Reindex 支不支持断点续传？其实，Reindex确实不提供原生的断点续传功能。如果过程中断，则需要重新开始或者手动管理已经完成的部分。...使用_reindex API时，通过设置 scroll 和 batch_size 参数来管理内存使用和单批次的文档数量。使用 slice 功能来并行化reindex任务。...3、避免中断策略在Elasticsearch配置中调整连接和超时设置，例如 reindex.remote.connect_timeout reindex.remote.read_timeout 4、...迁移完成后，使用校验和或者文档计数来确认数据完整性。之前实战项目中，可以定时脚本统计一下写入新索引的数据量，以校验源和目的端数据的一致性。

2301 0

Elasticsearch探索：Pipeline API

之前，如果我们想在将文档索引到 Elasticsearch 之前预处理文档，那么唯一的方法是使用 Logstash 或以编程方式/手动预处理它们，然后将它们索引到 Elasticsearch。...Elasticsearch 缺乏预处理/转换文档的能力，它只是按原样索引文档。...此预处理通过截取批量和索引请求的提取节点执行，它将转换应用于数据，然后将文档传递回索引或批量 API。...提示：如果缺少处理器中使用的字段，则处理器将抛出异常，并且不会对文档编制索引。为了防止处理器抛出异常，我们可以利用 “ignore_failure”：true 参数。...内置 Processors 默认情况下，Elasticsearch 提供大量的ingest处理器。

1K2 1

Elasticsearch跨集群数据迁移之离线迁移

wait_for_completion=true 创建快照可以指定索引，也可以指定快照中包含哪些内容，具体的api接口参数可以查阅官方文档 3 ....查看快照恢复状态 curl http://172.16.0.20:9200/_snapshot/_status reindex reindex是Elasticsearch提供的一个api接口，可以把数据从源...调用reindex api 以下操作表示从源ES集群中查询名为test1的索引，查询条件为title字段为elasticsearch，将结果写入当前集群的test2索引 POST _reindex...，当然可以设置只同步指定的索引，logstash的更多功能可查阅logstash官方文档总结 elasticsearch-dump和logstash做跨集群数据迁移时，都要求用于执行迁移任务的机器可以同时访问到两个集群...，不然网络无法连通的情况下就无法实现迁移。

25.2K10 4

Elasticsearch：在不停机的情况下优化 Elasticsearch Reindex

相信大家都明白，数据迁移会消耗大量的硬盘资源，肯定会影响性能，但是功能呢？我们以常规的 _reindex 为例。假设我们在索引上创建了一个别名。如果我们没有别名，我们就有大麻烦了。...此外，正如我刚才提到的，一个大的索引迁移可能需要几个小时，所以客户的感受一定是显而易见的。那么该怎么办？Reindex 的正确流程上述流程对原始流程进行了两处更改。...默认情况下，_reindex 是内部的，这种数据迁移是通过使用原始索引覆盖新索引来完成的，并删除文档的 _version，因此新索引中的所有文档重新开始。...假设原始索引有一个如下所示的文档，Elasticsearch 元数据位于下划线开头。...有两种方法可以缩短重新索引时间。尽可能减少第一次 _reindex 的时间。提前过滤补丁数据。

851 0

elasticsearch数据迁移方式的应用场景与分析

一.reindex elasticsearch提供的一种复制索引的API。可以在集群内进行索引的复制，也可以跨集群进行索引的复制。...：reindex API 可以帮助将数据从一个索引移动到另一个索引，例如在索引结构发生变化或需要重建索引时。...索引合并：reindex API 可以将多个索引中的数据合并到一个新的索引中，以简化数据的管理和查询。...可靠性：我们在通过reindex进行大数据量的索引迁移时，reindex自带了错误处理与任务重试机制，当reindex的过程中遇到错误，reindex会自动进行回滚，并重新从异常位置继续复制数据。...网络带宽：如果我们是进行跨集群的数据复制迁移，当迁移索引的数据量过大时，可能会长时间大量占用网络带宽。索引锁定：为了保证迁移前后的数据一致，在进行reindex时，我们一般会将源索引置为只读。

4779 2

全文检索的极致之选：Elasticsearch完全指南

，对所有文档进行重新索引，替换旧索引。...3. reindex 失效，原本可以修改的 mapping 部分参数将无法修改，并且无法升级索引在 Elasticsearch 中，有一些情况下会导致索引失效，进而影响 reindex 操作的执行。...未映射字段当源索引中包含目标索引未定义的字段时，执行 reindex 操作可能会失败。在这种情况下，需要先使用 mapping API 创建目标索引，并在其中定义所有字段及其属性。...然后，再使用 reindex API 执行显示映射的操作，以确保源索引中的数据可以正确地映射到目标索引中。...如果在创建索引时禁用了某个字段的 store 属性，则无法对该字段进行聚合计算。

7051 0

Curl操作Elasticsearch的常用方法

Elasticsearch对于文档操作，提供了以下几种API，本文就说明如何使用curl方式来调用这些API。...，如果该索引不存在，则Elasticsearch会自动创建索引和自动映射关系。...根据条件更新 * 类似于根据条件查询，这个API可以根据条件对多个文档进行更新。...BULK API提供了在一次请求中更新大量文档的可能，这将极大的提高索引的速度。...3、Reindex API 重建索引 _reindex的基本工作方式是将一个索引拷贝到新的索引中。 curl -XPOST 'localhost:9200/_reindex?

1.7K2 1

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云