首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

elasticsearch 6.5:在illegal_argument_exception中重新索引来自远程2.4集群结果的随机文档样本

Elasticsearch是一个开源的分布式搜索和分析引擎,用于处理大规模数据集。它基于Apache Lucene库构建,提供了一个分布式、多租户的全文搜索引擎,具有高性能、可伸缩性和强大的搜索功能。

针对你提供的问题,"elasticsearch 6.5:在illegal_argument_exception中重新索引来自远程2.4集群结果的随机文档样本",我将给出以下完善且全面的答案:

  1. Elasticsearch 6.5: Elasticsearch 6.5是Elasticsearch的一个特定版本,它是在Elasticsearch 6.x系列中的一个发布版本。该版本可能包含了一些新功能、改进和修复了一些已知问题。
  2. illegal_argument_exception: illegal_argument_exception是Elasticsearch中的一个异常类型,表示请求中包含了无效的参数。当请求中的参数不符合预期或不合法时,Elasticsearch会抛出该异常。
  3. 重新索引(Reindex): 重新索引是指将数据从一个索引复制到另一个索引的过程。在Elasticsearch中,可以使用_reindex API来执行重新索引操作。通过重新索引,可以对数据进行转换、过滤或重新分片等操作。
  4. 远程2.4集群: 远程2.4集群指的是一个运行Elasticsearch 2.4版本的远程集群。在进行数据迁移或升级时,可能需要将数据从旧版本的集群迁移到新版本的集群。
  5. 随机文档样本: 随机文档样本是指从一个数据集中随机选择的文档。在Elasticsearch中,可以使用查询语句和一些参数来获取随机的文档样本。

对于这个问题,如果要重新索引来自远程2.4集群结果的随机文档样本,并且遇到了illegal_argument_exception异常,可能是由于请求中包含了无效的参数。解决该问题的步骤如下:

  1. 检查请求参数: 首先,需要仔细检查请求中的参数是否正确。确保参数的格式、类型和取值范围都符合Elasticsearch的要求。
  2. 更新Elasticsearch版本: 如果当前使用的是Elasticsearch 6.5版本,而远程2.4集群是旧版本,可以考虑将远程集群升级到与当前版本兼容的版本。这样可以避免由于版本不匹配导致的异常。
  3. 使用_reindex API重新索引: 使用Elasticsearch的_reindex API来重新索引数据。在请求中指定源索引和目标索引,并使用查询语句和参数来获取随机的文档样本。确保请求中的参数正确,并根据需要进行调整。

推荐的腾讯云相关产品和产品介绍链接地址:

  • 腾讯云Elasticsearch:https://cloud.tencent.com/product/es
  • 腾讯云云数据库TencentDB for Elasticsearch:https://cloud.tencent.com/product/es

请注意,以上答案仅供参考,具体解决方案可能因实际情况而异。在实际应用中,建议参考Elasticsearch官方文档和相关资源,以获取更准确和详细的信息。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Elasticsearch 生产环境集群部署最佳实践

集群发生故障再恢复平衡速度取决于分片大小、分片数量、网络以及磁盘性能。 Elasticsearch ,每个查询每个分片单个线程执行。但是,可以并行处理多个分片。...创建索引后,更改主分片数唯一方法是重新创建索引,然后将原来索引数据 reindex 到新索引。 官方给出合理建议:每个分片数据大小:30GB-50GB。... 机器学习节点 机器学习 低 极高 极高 协调节点 请求转发和合并检索结果 6.5 不同节点角色配置如下 必须配置到:elasticsearch.yml 。...这意味着第一次执行过滤查询时,Elasticsearch 将查找与过滤器匹配文档,并使用该信息构建名为“bitset”结构。...存储 bitset 数据包含文档标识符以及给定文档是否与过滤器匹配。

2.5K20

Elasticsearch实战:常见错误及详细解决方案

Elasticsearch实战:常见错误及详细解决方案 1.read_only_allow_delete":“true” 当我们向某个索引添加一条数据时候,可能(极少情况)会碰到下面的报错: {...2. illegal_argument_exception 有时候,聚合,我们会发现如下报错: { "error": { "root_cause": [ {...,添加一条数据时(此时,如果索引存在则直接新增或者更新文档,不存在则先创建索引),首先检查该age字段映射类型。...如上示例,我们添加第一篇文档时(z1索引不存在),elasticsearch会自动创建索引,然后为age字段创建映射关系(es 就猜此时age字段值是什么类型,如果发现是text类型,那么存储该字段映射类型就是...3.Result window is too large 很多时候,我们查询文档时,一次查询结果很可能会有很多,而 elasticsearch 一次返回多少条结果,由size参数决定: GET e2/

47850

Elasticsearch实战:常见错误及详细解决方案

Elasticsearch实战:常见错误及详细解决方案 1.read_only_allow_delete":“true” 当我们向某个索引添加一条数据时候,可能(极少情况)会碰到下面的报错: {...2. illegal_argument_exception 有时候,聚合,我们会发现如下报错: { "error": { "root_cause": [ {...,添加一条数据时(此时,如果索引存在则直接新增或者更新文档,不存在则先创建索引),首先检查该age字段映射类型。...如上示例,我们添加第一篇文档时(z1索引不存在),elasticsearch会自动创建索引,然后为age字段创建映射关系(es 就猜此时age字段值是什么类型,如果发现是text类型,那么存储该字段映射类型就是...3.Result window is too large 很多时候,我们查询文档时,一次查询结果很可能会有很多,而 elasticsearch 一次返回多少条结果,由size参数决定: GET e2/

33750

Elasticsearch实战:常见错误及详细解决方案

Elasticsearch实战:常见错误及详细解决方案1.read_only_allow_delete":"true"当我们向某个索引添加一条数据时候,可能(极少情况)会碰到下面的报错:{ "error...2. illegal_argument_exception有时候,聚合,我们会发现如下报错:{ "error": { "root_cause": [ { "type"...,添加一条数据时(此时,如果索引存在则直接新增或者更新文档,不存在则先创建索引),首先检查该age字段映射类型。...如上示例,我们添加第一篇文档时(z1索引不存在),elasticsearch会自动创建索引,然后为age字段创建映射关系(es 就猜此时age字段值是什么类型,如果发现是text类型,那么存储该字段映射类型就是...3.Result window is too large很多时候,我们查询文档时,一次查询结果很可能会有很多,而 elasticsearch 一次返回多少条结果,由size参数决定:GET e2/doc

38820

ES 跨集群复制 Cross-Cluster Replication

1.前言 Elasticsearch(后面统称ES) cross-cluster replication (后面统称CCR)是ES 6.5一个测试特性,是ES 6.7一个全局高可用特性。...CCR允许不同索引复制到一个或多个ES 集群。将索引复制到其他ES集群,可以解决多个用例,包括跨数据中心高可用(HA),灾难恢复(DR)和CDN样体系结构,最终实现ES集群高可用。...CCR没有所谓冲突监测,如果要独立fllower,只需要暂定同步,关闭索引,取消对leader关注,重新打开索引即可。...CCR双向复制 通过双向复制,我们建立了一个CCR体系结构,当集群和数据中心不可用和ES文档不可变时(不执行任何更新操作)。可以直接使用灾备集群索引,实现ES跨数据中心双活。...] 2.4 创建双向复制索引 建立索引logs-dc1,以DC1为源集群,复制到目标集群DC2。

2.5K10

Elasticsearch 8.X reindex 源码剖析及提速指南

,并将这些文档索引到一个目标索引,可能还涉及对文档某些转换。...2.3 文档转换 如果提供了一个脚本,它可以文档从源索引移动到目标索引之前对文档进行修改或转换。 2.4 批量处理 文档是批量从源索引读取并批量索引到目标索引。...2.5 远程索引 reindex 不仅可以在当前 Elasticsearch 集群索引之间移动文档(如图 1 所示),还可以从一个远程 Elasticsearch 集群读取文档(如图 2 所示...3.4 增加硬件资源 增加 Elasticsearch节点 CPU、内存和I/O能力可以提高 reindex 速度。 如果我们正在从远程集群进行重新索引,确保两个集群都有足够资源。...确保 Elasticsearch 集群开始测试之前是健康,所有节点都是在线,没有挂起任务。 条件3——关闭其他大型操作。 确保集群上没有其他大型查询或索引操作在运行,以免影响性能测试结果

32530

实战问题:Elasticsearch 2.X 数据如何迁移到 7.X?

2.2 方案二:使用 Reindex API Elasticsearch 提供了一个Reindex API,允许你远程集群重新索引。...3、迁移特别注意事项 3.1 数据模型和映射 迁移数据之前,检查你数据模型和索引映射。...图片来自:https://github.com/LisaHJung 一般先迁移 Mapping,再迁移数据。这样能有效避免索引 Mapping 不一致情况。...如果要迁移,多个 type 数据 可以迁移到多个不同索引。 3.2 备份 进行任何操作之前,确保你有2.4.x版本完整备份。 虽然你不打算进行版本升级,但始终保持数据备份是一个好习惯。...详细新版本集群规划时候已经考虑了这一点,如果当时没有考虑数据激增情况,现在就得考虑一下。 3.5 监控 迁移过程,持续监控集群性能和健康状况,确保所有事情都在预期之内进行。

42632

Elasticsearch 快速开始

节点 节点,集群组成一部分,负责具体事务处理,比如数据存储、文档索引、搜索执行等。节点也有唯一个名称,如果没有指定将随机生成。...索引数量,集群并没有限制定义索引数量。 类型 elasticsearch 6.0 已丢弃功能,不具体介绍了。...分片实现了索引文档分散分布,并且每个切片都是功能完善索引是独立,可能分布集群任意节点。...我们可以测试一下,停止集群一个节点,这时 customer 状态将会马上切换为 yellow 状态。 索引和查询文档 elasticsearch ,"索引" 这个名词常常会搞晕我们。...文档替换 创建和替换文档本质上都属于索引文档,因而,我们之前用来创建文档命令同样适用于文档替换。 因为 customer 索引重建过,我们重新创建一个 ID 为 1 文档

1.8K30

别只会搜日志了,求你懂点原理吧

索引过程Elasticsearch 会存储文档并构建倒排索引,这样用户便可以近实时地对文档数据进行搜索。...索引过程是索引 API 启动,通过此 API 您既可向特定索引添加 JSON 文档,也可更改特定索引 JSON 文档。 1.5 Logstash 用途是什么?...批量插入样本数据执行结果 查看所有索引 查看所有索引 可以从返回结果中看到 bank 索引有 1000 条数据,占用了 440.2kb 存储空间。...elasticsearch 是基于 Lucence 开发索引擎,而 ES 不同 type 下名称相同 field 最终 Lucence 处理方式是一样。...悟空哥聊架构分词 6.5 自定义分词词库 6.5.1 自定义词库方案 方案 新建一个词库文件,然后 ik 分词器配置文件中指定分词词库文件路径。可以指定本地路径,也可以指定远程服务器文件路径。

88320

ElasticsearchETL利器——Ingest节点

1、问题引出 来自星球同学提问: “Ingest node什么场景会遇到它? 一直没搜到它是什么场景工作?” 的确我们比较关心集群节点角色划分。包括: 集群应该几个节点?...本文再参考7.1版本官方文档总结一下: 2.1 主节点 主节点负责集群相关操作,例如创建或删除索引,跟踪哪些节点是集群一部分,以及决定将哪些分片分配给哪些节点。...拥有稳定主节点是衡量集群健康重要标志。 注意: 1、由于索引和搜索数据都是CPU、内存、IO密集型,可能会对数据节点资源造成较大压力。 因此,较大规模集群里,最好要设置单独仅主节点角色。...每个数据节点在本地执行请求并将其结果返回给协调节点。 收集fetch阶段,协调节点将每个数据节点结果汇集为单个全局结果集。...5、Ingest节点基本概念 实际文档索引发生之前,使用Ingest节点预处理文档。Ingest节点拦截批量和索引请求,它应用转换,然后将文档传递回索引或Bulk API。

3.7K62

Elasticsearch问题汇总

如果不允许重启ES集群,就只能从查询语句入手了,要么削减查询条件数量,要么将查询条件转移到must_notterms查询。...一篇博文评论解释如下: 应该是客户端代码里将查询数值定义成了java.math.BigDecimal,而ES不支持这个类型。...[item] has been exceeded]] 这是由于被索引文档字段数量超过了默认1000上限,两种解决方法,要么减少文档字段,要么增加字段上限。...此时需要增大磁盘使用空间,有如下多种方法: 集群增加节点 降低集群索引副本数量 清理磁盘无用数据,比如日志等 ES应该尽量别和其他项目部署在一起,磁盘容易被其他项目的日志挤占。...ES默认请求内容最大值为100mb,超过100mb就会报错,可以/config/elasticsearch.yml添加如下配置: 1 http.max_content_length: 200mb

1.6K20

别只会搜日志了,求你懂点原理吧

索引过程Elasticsearch 会存储文档并构建倒排索引,这样用户便可以近实时地对文档数据进行搜索。...索引过程是索引 API 启动,通过此 API 您既可向特定索引添加 JSON 文档,也可更改特定索引 JSON 文档。 1.5 Logstash 用途是什么?...名词:相当于 Mysql database 与 mysql 对比 序号 Mysql Elasticsearch 1 Mysql 服务 ES 集群服务 2 数据库 Database 索引 Index...批量插入样本数据执行结果 查看所有索引 查看所有索引 可以从返回结果中看到 bank 索引有 1000 条数据,占用了 440.2kb 存储空间。...悟空哥聊架构分词 6.5 自定义分词词库 6.5.1 自定义词库方案 方案 新建一个词库文件,然后 ik 分词器配置文件中指定分词词库文件路径。可以指定本地路径,也可以指定远程服务器文件路径。

76673

Elasticsearch 快照生命周期管理 (SLM) 实战指南

方式二:跨集群复制主从同步。简称:CCR,指的是索引数据从一个 Elasticsearch 集群复制到另一个 Elasticsearch 集群。...对于主集群索引数据任何修改都会直接复制同步到从索引集群。 方式三:快照。快照在给定时刻对集群或者索引按了暂停键且拍摄了当时全部“照片”。...这样,当在之后某个时间点,倘若集群索引出现故障,可以基于之前快照进行快速恢复。...步骤1:配置快照存储路径及注册快照存储库 elasticsearch 添加如下配置: path.repo: ["/www/elasticsearch_0801/backup_0801"] 注册快照存储库...最终设定快照存储路径下结果为: 扩展:retention 快照保留规则有定时执行或者手动立即执行两种方式。

1.3K10

解决Elasticsearch分片未分配问题「译」

如果你已经知道数据值得保存,那么就看如下解决方案: 分片有目的延迟分配 分片太多,节点不够 您需要重新启用分片分配 分片数据不再存在于集群 磁盘低水平位 多个Elasticsearch版本 这篇文章命令默认端口...原因1:分片有目的延迟分配 当有节点离开集群时,主节点会暂时延迟分配重新分配以避免重新平衡分配不必要地浪费资源,原因是原始节点能够一段时间内(默认情况下为一分钟)重新加入。...重新启用分片分配后Kopf仪表板可以看出,许多之前未分配分片已分配 原因4:分片数据不再存在于集群 从原因3段落中最后一张Kopf图片可以看出,constant-updates索引主分片0是未分配...它可能在没有任何副本节点上创建(一种用于加速初始索引过程技术),并且节点在可以复制数据之前离开集群。Master全局集群状态文件检测到shard,但是无法集群中找到分配数据。...您可以选择使用字节或百分比值来更新这些设置,但请务必记住Elasticsearch文档这一重要提示:百分比值是指已用磁盘空间,而字节值是指可用磁盘空间。

7K10

CentOS 6.5下快速安装Elasticsearch

我选择环境为CentOS 6.5,基本运行环境都是么有的,废话不多说,start!...ES默认下只能本地访问,无法远程访问。...如果出现以下,就表示安装成功 3.3:浏览器访问ES,假如没有改变端口的话,浏览器输入http://ip:9200/ ip根据自己服务器ip而定。...这表示修改network.host生效了,我们外网可以访问: 四:安装head插件 4.1:elasticsearch-head简介 head是一个界面化集群操作和管理工具,可以显示集群拓扑图...,并且能够执行索引和节点级别操作搜索接口能够查询集群中原始json或表格格式检索数据能够快速访问并显示集群状态有一个输入窗口,允许任意调用RESTFUL API: ①.

34410

成人网站泄露 108 亿数据后,一个 Elasticsearch 爱好者思考

古典老师《跃迁——成为高手技术》强调:“在我看来,现在我们获取知识绝大多数都是二三四手信息,因为很多人已经失去鉴别一手信息能力。这也是我们认知效率低下原因”。...Elasticsearch学习也是推荐优先关注官方英文文档,优先使用 Google ,discuss.elastic.co, stackoverflow 而不是某度。 2、怎么泄露?...结合请求返回是否包含:"tagline" : "You Know, for Search"”就能初步扫描出公网裸奔 Elasticsearch 集群。 穷举方式是很笨,但几乎没有漏网之鱼!...5.4 Elasticsearch 集群禁用批量删除索引 批量删除操作类似“rm -rf ”删库跑路操作,若ES集群没有备份,后果不堪设想。 禁用批量删除不止是对外,对内也能起到防护作用。...数据脱敏方式——通过对敏感信息采用脱敏方式进行匿名化,防止因生产库主要数据,明文显示测试系统,导致数据泄漏问题。

2.1K20

别只会搜日志了,求你懂点检索原理吧

来自百度百科) Elasticsearch 原始数据从哪里来? 原始数据从多个来源 ( 包括日志、系统指标和网络应用程序 ) 输入到 Elasticsearch 。...索引过程Elasticsearch 会存储文档并构建倒排索引,这样用户便可以近实时地对文档数据进行搜索。...索引过程是索引 API 启动,通过此 API 您既可向特定索引添加 JSON 文档,也可更改特定索引 JSON 文档。 1.5 Logstash 用途是什么?...、置入档案或反向档案,是一种索引方法,被用来存储全文搜索下某个单词一个文档或者一组文档存储位置映射。...6.5 自定义分词词库 6.5.1 自定义词库方案 方案 新建一个词库文件,然后 ik 分词器配置文件中指定分词词库文件路径。可以指定本地路径,也可以指定远程服务器文件路径。

2.1K42

Elasticsearch 主从同步之跨集群复制

集群添加跟随者索引之前,必须配置包含领导者索引远程集群。 leader-follower 模式 kafka、zookeeper等中都有涉及,我认为翻译为:主、从模型比较契合。...最简单模型如图所示,我们用一台宿主机搭建两套集群环境,如下所示: 图片来自:elastic官方文档集群A:远端集群,remote cluster leader Elasticsearch: 172.21.0.14... elasticsearch.yml 文件添加如下配置。 xpack.security.enabled: true 通过:....6.2.2 步骤2:配置权限 为跨集群复制配置权限。 跨集群复制用户远程集群和本地集群上需要不同集群索引权限。 使用以下请求本地和远程集群上创建单独角色,然后创建具有所需角色用户。..."read", "write", "manage_follow_index" ] } ] } 6.2.3 步骤3:创建自动跟踪模式以自动跟踪远程集群创建索引

2.4K20

Elasticsearch探索: Reindex API

Reindex可以直接在Elasticsearch集群里面对数据进行重建,如果你mapping因为修改而需要重建,又或者索引设置修改需要重建时候,借助Reindex可以很方便异步进行重建,并且支持跨集群数据迁移...官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/7.3/docs-reindex.html 我们开发过程,我们有很多时候需要用到...从源文件中保留版本,创建缺失所有文档,并更新目标索引中比源索引版本更老所有文档: POST _reindex { "source": { "index": "twitter"...来自远程服务器重新索引使用默认为最大大小为100mb堆栈缓冲区。如果远程索引包含非常大文档,则需要使用较小批量大小。下面的示例设置非常非常小批量大小10。...索引或查询性能是否支配该流程取决于许多因素,如正在重建索引文档和进行reindexing集群

2.1K11
领券