有奖捉虫:办公协同&微信生态&物联网文档专题 HOT

背景

索引的合理设置是业务高效稳定运行的基础,现实中索引管理不仅使用门槛高、运维投入高,更是很多线上问题的源头,目前 ES 60%的运维管理操作、60%的基础线上问题都与此相关,是使用 ES 的关键痛点。 
基于此背景,腾讯云 ES 推出了业界首创的自治索引,能实现索引创建、滚动、降冷、删除、故障自动修复的全自动化,并实现分片的智能调优,大幅减少了运维故障和资源投入。

优化方案

提供分片自动调优、查询裁剪、故障自动修复、索引生命周期管理等特性,同时在写入层进行相应的优化,在降低运维与管理成本的同时,提高使用效率以及在写入与查询时的性能。

图片



优化效果

整体而言,自治索引围绕索引从索引创建 > 数据写入 > 分片调优 > 查询 > 运维管理等索引使用全流程操作,均提供了相应的特性帮助更好的进行索引使用与管理。

高效创建与管理

自治索引的创建和管理相较原生索引以及 Datastream 更为高效,自治索引内置索引生命周期管理策略、索引模版等,我们只需通过一条命令,即可完成所有配置,无需额外管理 ILM、索引模版以及别名等的成本。

写入性能优化

针对“0点索引滚动,产生写入抖动”、“百万级TPS,CPU无法充分利用”、“自带主键写入性能衰减1+倍”等问题,自治索引在写入层均做了相应的优化,相比开源版本ES,写入稳定性提升80%,TPS提升1倍+,资源利用率提高50+%,性能提升45%。数据如下:
对比指标
腾讯云ES
开源版本
写吞吐(TPS)
169W(+121%)
76W
CPU
49%(+58%)
31%
拒绝率
0%
0.3%

分片自动调优

自治索引支持基于业务负载自动调整分片,兼容写入快速增长、周期性波动、写入毛刺等场景,并且和节点数量关联,使得业务在写入快速放量、扩缩容等场景下,不会出现写入拒绝或需要手动调整的情况。

查询裁剪

自治索引可结合查询条件,快速跳过无关索引,降低分片发送请求数量,实现索引级别的快速裁剪,将PB级日志查询性能提升3倍以上。




故障自动修复

当监测到索引分片所在的某个节点故障导致索引red或者写入异常时,自治索引会自动滚动出新的后备索引,保证新的后备索引分片都分布在正常节点,保证写入的可用性,整个过程无需人工干预,业务无感知,全部由自治索引自动完成。

图片



使用方法

支持通过 DSL 方式或者是控制台索引管理功能创建索引。

支持版本

7.14.2