前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >ES ILM 功能的实际应用(二)

ES ILM 功能的实际应用(二)

原创
作者头像
南非骆驼说大数据
发布2020-08-04 00:40:14
2.6K0
发布2020-08-04 00:40:14
举报
文章被收录于专栏:南非骆驼说大数据

前言|

在前面的章节中,我讲了ES从6.8版本开始默认免费支持索引生命周期管理策略的实际应用,那么今天我们继续深化讲解一下这个架构的应用,主要将ILM结合Rollover实现索引的自动滚动生成并根据属性自动管理集群索引

一、ILM到底怎么用?

索引生命周期管理策略是一组规则的总称,它需要应用到某个索引上或者某个模板上,这样,当ES集群中的索引产生ES的时候就会根据模板中的策略匹配规则,而这些规则中又包含索引生命周期管理策略。自然,这些策略就能被作用到这些索引上。大致流向图如下:

ILM动态示意图
ILM动态示意图

因此,要想完整的执行整个流程,就需要下面的三步:

1,创建ILM策略,可以图形化操作也可以API操作

2,创建基于给定索引的模板,并关联ILM策略。

3,设定Rollover参数,自动滚动更新索引

二、ILM实战

集群环境:ES6.8.2 冷热集群环境下ILM的配置,

要求:实现HOT节点上的索引2小时后自动移动到warm节点,热节点上文档超过设定数8个自动rollover到新索引。

开始操作:

第一步,创建一个索引生命周期策略,并命名ELK。

创建ILM策略
创建ILM策略
创建ILM策略2
创建ILM策略2

第二步:创建模板,并关联策略。此策略跟上面创建的策略须一致。

创建模板
创建模板

需要指出的是这里的rollover_alias别名:要注意,这个别名非常重要,Rollover功能能否正常使用都是根据这个别名来发挥作用的。

第三步:配置rollover参数

Rollover功能是结合索引别名来实现的。所以,我们可以这样操作:

配置Rollover参数
配置Rollover参数

解释:Rollover参数有一定的格式要求,timeseries-XXXXX1格式是必须的格式,这里的别名必须与上面模板定义的别名一致。因为等会写入是针对这个别名进行操作。

那么这样,我们的三步走流程就已经走完。ILM流程就这么简单

三、结果验证

这里为了方便验证,我随意加入些数据,然后将ILM策略生效时间改成1秒。如下:

写入几十条数据:

插入数据
插入数据

我们看结果如何?发现索引根据先前设置自动滚动更新了。如下图所示:

那么属性有没有自动转移呢?默认是HOT,2小时后,会不会改变呢?发现是成功的。

那么以上就说明了,索引到ES集群后会默认匹配模板的规则匹配ILM,然后2小时后会自动迁移到warm节点。那么这里有一个疑问?为什么这个索引创建很久了,节点属性还是HOT呢?

因为它的文档个数还没到8个,只有3个,还没触发Rollover.等它触发Rollover的时候再过2小时,它就会变成Warm了。

四、总结

那么今天我们结合图形操作+API的方式实现了ILM在冷热集群下的综合应用。实际这个方法也应用的非常多。希望朋友们都动手操作一下。后面,我们将讲解用API创建ILM在单集群模式下的应用。好的。本节就到这里。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 前言|
    • 一、ILM到底怎么用?
      • 二、ILM实战
        • 三、结果验证
        • 四、总结
        相关产品与服务
        Elasticsearch Service
        腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档