专栏首页腾讯云Elasticsearch ServiceElasticsearch: Reindex接口

Elasticsearch: Reindex接口

腾讯云 Elasticsearch Service】高可用,可伸缩,云端全托管。集成X-Pack高级特性,适用日志分析/企业搜索/BI分析等场景


在我们开发的过程中,我们有很多时候需要用到 Reindex 接口。它可以帮我们把数据从一个 index 到另外一个 index 进行重新reindex。这个对于特别适用于我们在修改我们数据的 mapping 后,需要重新把数据从现有的 index 转到新的 index 建立新的索引,这是因为我们不能修改现有的 index 的 mapping 一旦已经定下来了。在接下来的介绍中,我们将学习如何使用 reindex 接口。

为了能够使用 reindex 接口,我们必须满足一下的条件:

  • _source 选项对所有的源 index 文档是启动的,也即源 index 的 source 是被存储的
  • reindex 不是帮我们尝试设置好目的地 index。它不拷贝源 index 的设置到目的地的 index 里去。你应该在做 reindex 之前把目的地的源的 index 设置好,这其中包括 mapping, shard 数目,replica 等

下面,我们来一个具体的例子,比如建立一个 blogs 的 index。

PUT twitter2/_doc/1{  "user" : "双榆树-张三",  "message" : "今儿天气不错啊,出去转转去",  "uid" : 2,  "age" : 20,  "city" : "北京",  "province" : "北京",  "country" : "中国",  "address" : "中国北京市海淀区",  "location" : {    "lat" : "39.970718",    "lon" : "116.325747"  }}

上面的命令让我们建立了一个叫做 twitter2 的 index,并同时帮我们生产了一个如下的 mapping:

GET /twitter2/_mapping

显示的结果是:

{  "twitter2" : {    "mappings" : {      "properties" : {        "address" : {          "type" : "text",          "fields" : {            "keyword" : {              "type" : "keyword",              "ignore_above" : 256            }          }        },        "age" : {          "type" : "long"        },        "city" : {          "type" : "text",          "fields" : {            "keyword" : {              "type" : "keyword",              "ignore_above" : 256            }          }        },        "country" : {          "type" : "text",          "fields" : {            "keyword" : {              "type" : "keyword",              "ignore_above" : 256            }          }        },        "location" : {          "properties" : {            "lat" : {              "type" : "text",              "fields" : {                "keyword" : {                  "type" : "keyword",                  "ignore_above" : 256                }              }            },            "lon" : {              "type" : "text",              "fields" : {                "keyword" : {                  "type" : "keyword",                  "ignore_above" : 256                }              }            }          }        },        "message" : {          "type" : "text",          "fields" : {            "keyword" : {              "type" : "keyword",              "ignore_above" : 256            }          }        },        "province" : {          "type" : "text",          "fields" : {            "keyword" : {              "type" : "keyword",              "ignore_above" : 256            }          }        },        "uid" : {          "type" : "long"        },        "user" : {          "type" : "text",          "fields" : {            "keyword" : {              "type" : "keyword",              "ignore_above" : 256            }          }        }      }    }  }}

显然根据我们之前的练习 “开始使用Elasticsearch (2)”,系统帮我们生产的 location 数据类型是不对的,我们必须进行修改。一种办法是删除现有的 twitter2 索引,让后修改它的 mapping,再重新索引所有的数据。这对于一个两个文档还是可以的,但是如果已经有很多的数据了,这个方法并不可取。另外一种方式,是建立一个完全新的 index,使用新的 mapping 进行 reindex。下面我们展示如何使用这种方法。

创建一个新的 twitter3 的 index,使用如下的 mapping:

PUT twitter3{  "settings": {    "number_of_shards": 1,    "number_of_replicas": 1  },  "mappings": {    "properties": {      "address": {        "type": "text",        "fields": {          "keyword": {            "type": "keyword",            "ignore_above": 256          }        }      },      "age": {        "type": "long"      },      "city": {        "type": "text"      },      "country": {        "type": "text"      },      "location": {        "type": "geo_point"      },      "message": {        "type": "text",        "fields": {          "keyword": {            "type": "keyword",            "ignore_above": 256          }        }      },      "province": {        "type": "text"      },      "uid": {        "type": "long"      },      "user": {        "type": "text"      }    }  }}

这里我们我们修改了 location 及其它的一些数据项的数据类型。运行上面的指令,我们就可以创建一个完全新的 twitter3 的 index。我们可以通过如下的命令来进行 reindex:

POST _reindex{  "source": {    "index": "twitter2"  },  "dest": {    "index": "twitter3"  }}

显示的结果是:

{  "took" : 52,  "timed_out" : false,  "total" : 1,  "updated" : 0,  "created" : 1,  "deleted" : 0,  "batches" : 1,  "version_conflicts" : 0,  "noops" : 0,  "retries" : {    "bulk" : 0,    "search" : 0  },  "throttled_millis" : 0,  "requests_per_second" : -1.0,  "throttled_until_millis" : 0,  "failures" : [ ]}

我们可以通过如下的命令来检查我们的 twitter3 是否已经有新的数据:

GET /twitter3/_search

显示的结果是:

{  "took" : 100,  "timed_out" : false,  "_shards" : {    "total" : 1,    "successful" : 1,    "skipped" : 0,    "failed" : 0  },  "hits" : {    "total" : {      "value" : 1,      "relation" : "eq"    },    "max_score" : 1.0,    "hits" : [      {        "_index" : "twitter3",        "_type" : "_doc",        "_id" : "1",        "_score" : 1.0,        "_source" : {          "user" : "双榆树-张三",          "message" : "今儿天气不错啊,出去转转去",          "uid" : 2,          "age" : 20,          "city" : "北京",          "province" : "北京",          "country" : "中国",          "address" : "中国北京市海淀区",          "location" : {            "lat" : "39.970718",            "lon" : "116.325747"          }        }      }    ]  }}

显然我们的数据已经从 twitter2 到 twitter3,并且它的数据类型已经是完全符合我们要求的数据类型。

Reindex执行

  • Reindex 是一个时间点的副本
  • 就像上面返回的结果显示的那样,它是以 batch(批量)的方式来执行的。默认的批量大小为1000
  • 你也可以只拷贝源 index 其中的一部分数据

         -  通过加入 query 到 source 中

         -  通过定义 max_docs 参数

比如:

POST _reindex{  "max_docs": 100,  "source": {    "index": "twitter2",    "query": {      "match": {        "city": "北京"      }    }  },  "dest": {    "index": "twitter3"  }}

这里,我们定义最多不超过100个文档,同时,我们只拷贝来自“北京”的 twitter 记录。

设置 op_type to create 将导致 _reindex 仅在目标索引中创建缺少的文档。 所有现有文档都会导致版本冲突,比如:

POST _reindex{  "source": {    "index": "twitter2"  },  "dest": {    "index": "twitter3",    "op_type": "create"  }}

如果我们之前已经做过 reindex,那么我们可以看到如下的结果:

{  "took": 2,  "timed_out": false,  "total": 1,  "updated": 0,  "created": 0,  "deleted": 0,  "batches": 1,  "version_conflicts": 1,  "noops": 0,  "retries": {    "bulk": 0,    "search": 0  },  "throttled_millis": 0,  "requests_per_second": -1,  "throttled_until_millis": 0,  "failures": [    {      "index": "twitter3",      "type": "_doc",      "id": "1",      "cause": {        "type": "version_conflict_engine_exception",        "reason": "[1]: version conflict, document already exists (current version [5])",        "index_uuid": "ffz2LNIIQqqDx211R5f4fQ",        "shard": "0",        "index": "twitter3"      },      "status": 409    }  ]}

它表明我们之前的文档 id 为1的有版本上的冲突。

默认情况下,版本冲突会中止 _reindex 进程。 “conflict” 请求 body 参数可用于指示 _reindex 继续处理版本冲突的下一个文档。 请务必注意,其他错误类型的处理不受 “conflict” 参数的影响。 当 “conflict”:在请求正文中设置 “proceed” 时, _reindex 进程将继续发生版本冲突并返回遇到的版本冲突计数:

POST _reindex{  "conflicts": "proceed",  "source": {    "index": "twitter"  },  "dest": {    "index": "new_twitter",    "op_type": "create"  }}

Throttling

重新索引大量文档可能会使你的群集泛滥甚至崩溃。requests_per_second 限制索引操作速率。

POST _reindex?requests_per_second=500 {  "source": {    "index": "blogs",    "size": 500  },  "dest": {    "index": "blogs_fixed"  }}

运用 index 别名来进行 reindex

我们可以通过如下的方法来实现从一个 index 到另外一个 index 的数据转移:

PUT test     PUT test_2   POST /_aliases{    "actions" : [        { "add":  { "index": "test_2", "alias": "test" } },        { "remove_index": { "index": "test" } }      ]}

在上面的例子中,假如我们地添加了一个叫做 test 的 index,而 test_2 是我们想要的。我们直接可以通过上面的方法吧 test 中的数据交换到 test_2 中,并同时把 test 索引删除。

从远处进行 reindex

_reindex 也支持从一个远处的 Elasticsearch 的服务器进行 reindex,它的语法为:

POST _reindex{  "source": {    "index": "blogs",    "remote": {      "host": "http://remote_cluster_node1:9200",      "username": "USERNAME",      "password": "PASSWORD"    }  },  "dest": {    "index": "blogs"  }}

这里显示它从一个在 http://remote_cluster_node1:9200 的服务器来拷贝文件从一个 index 到另外一个 index。

Update by Query

虽然这个不在我们的 reindex 介绍范围,但是在有些情况下,我们可以可以通过 _update_by_query API 来让我们轻松地更新一个字段的值:

POST blogs_fixed/_update_by_query{  "query": {    "match": {      "category.keyword": ""    }  },  "script": {    "source": """       ctx._source['category'] = "None"     """  }}

在上面,把 category.keyword 项为空的所有文档的 category 通过脚本设置为默认的 "None" 字符串。它和 reindex 的作用相似。

为 mapping 添加新的 mulit-field

假设我们要向 twitter_new 索引的 mapping 添加一个多字段(multi-field)

  • 具体来说,假设我们要用新的方法分析 “content” 字段
PUT new_new/_mapping{  "properties": {    "content": {      "type": "text",      "fields": {        "english": {          "type": "text",          "analyzer": "english"        }      }    }  }}

在上面我们为 content 字段添加了一个新的 english 字段,并且它的 analyzer 为 english。

由于 mapping 已经发生改变,但是索引中已经有的文档没有这个新的字段 english,如果这个时候我们进行如下的搜索,将不会找到任何的结果:

GET twitter_new/_search{  "query": {    "match": {      "content.english": "performance tips"    }  }}

那么我们该如何使得索引中现有的文档都有 content.english 这个字段呢?运行 _update_by_query 以拥有现有文档选择新的 “content.english” 字段:

POST twitter_new/_update_by_query

当我们完成上面的请求后,然后再执行如下的操作,将会在twitter_new 索引中搜索到想要的文档:

GET twitter_new/_search{  "query": {    "match": {      "content.english": "performance tips"    }  }}

参考:

【1】https://www.elastic.co/guide/en/elasticsearch/reference/7.3/docs-reindex.html


最新活动

Elasticsearch Service免费体验馆 >>

Elasticsearch Service自建迁移特惠政策>>

Elasticsearch Service 新用户特惠狂欢,提供30天免费体验和最低4折首购优惠 >>

Elasticsearch Service 企业首购特惠,助力企业复工复产>>

关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

原文链接:https://elasticstack.blog.csdn.net/article/details/100531645

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Elasticsearch:inverted index,doc_values及source

    这个几个概念分别指的是什么?有什么用处?如何配置它们?只有我们熟练地掌握了这些概念,我们才可以正确地使用它们。

    腾讯云ES团队
  • Beats:Beats 入门教程 (一)

    在今天的这个教程里,我们来针对初学者如何快速地了解 Beats 是什么,并如何快速地部署 Beats。如果你想了解更多关于 Beats 方面的知识,可以参阅我的...

    腾讯云ES团队
  • Elasticsearch: range 数据类型及基于range的聚合 (7.4发行版新功能)

    在Elasticsearch中有一种数据类型叫做 range 的数据类型。它目前支持的类型如下:

    腾讯云ES团队
  • Elasticsearch的Index和Mapping(二)

    本文使用的Elasticsearch版本为6.5.4,基本命令以及操作大都通用。下面通过MySQL与Elasticsearch的对比图,让我们更好地理解接下来的...

    用户3467126
  • 能用数学归纳法做证明题的 Wolfram|Alpha

    世界第一个不受语法束缚的基于数学归纳法的Proof Generator于2016年在 Wolfram|Alpha上闪亮登场,它的设计和创建离不开创意、行动力和优...

    WolframChina
  • 2019年的云计算市场竞争对企业意味着什么?

    根据调研机构Gartner公司的预测,2019年公共云市场规模将超过2000亿美元。在构成公共云的市场领域中,基础设施即服务(IaaS)增长最快,预计2019年...

    静一
  • Java基础笔记整理---【01】cmd操作命令

    WIN+ R 输入 “cmd“,按下ENTER,打开cmd 部分命令操作: cd 切换目录 cd\ 回到根目录 cd 文件夹名称 打开文件夹 cd ....

    李志伟
  • Java每日一练(2017/7/15)

    最新通知 ●回复"每日一练"获取以前的题目! ●【新】Ajax知识点视频更新了!(回复【学习视频】获取下载链接) ●答案公布时间:为每期发布题目的第二天 ★【新...

    Java学习
  • JAVA SPI 是怎么实现的?

    SPI(Service Provider Interface) ,是 JDK 内置的一种提供发现机制。SPI 是一种动态替换发现的机制。

    王小明_HIT
  • 7 Papers & Radios | 2019 ACM博士论文奖;巴斯大学&南开几何风格迁移架构

    论文 1:On Learning Sets of Symmetric Elements

    机器之心

扫码关注云+社区

领取腾讯云代金券