有奖捉虫:办公协同&微信生态&物联网文档专题 HOT

前提条件

已创建腾讯云账号,创建账号可参考 注册腾讯云
已创建 Elasticsearch Service 集群,且 Elasticsearch 版本为7.14.2,创建集群可参考 创建集群
注意
当前仅支持新建 自治索引,自治索引由腾讯云自研,适用于时序数据(如日志分析、运维监控等)场景,能够实现索引生命周期管理和分片自动调优,并有效提高读写效率。自治索引适用于2022年6月1日之后创建的7.14.2版本集群,早于此时间创建的7.14.2版本集群重启后可支持。低于7.14.2版本的集群需升级至7.14.2版本。

操作步骤

步骤一:进入新建页面

1. 登录 ES 控制台,单击 ES 索引管理进入索引列表。
2. 单击新建进入新建页面。

步骤二:填写配置信息

基础信息

索引名称:长度为1 - 255个字节,不支持中文,不能包含大写字母以及 \\,/, *, ?, ", <, >, |, #, :, 空格, 逗号,不能以 -, _, +, .开头。
索引类型:选择自治索引。
所属集群:该索引所在的集群。




数据源配置

1. 字段映射
动态生成:默认开启,开启后将自动解析采集的数据源,生成索引的字段映射。
输入样例自动配置:关闭动态生成后,您可以通过输入样例自动配置来生成索引的字段映射,在输入框内输入一段 JSON 格式的数据样例,确定后平台将自动为您进行校验,校验无误后,相关字段将映射到字段映射的表格中。推导规则及样例如下:字段值为 true 或 false 映射类型为 boolean;字段值为整数映射类型为 long;字段值为浮点数映射类型为 double;字段值为字符串且长度小于等于36字符映射类型为 keyword;字段值为字符串且长度大于36字符映射类型为 text;字段值为日期格式字符串映射类型为 date;字段值支持嵌套映射类型为 object。我们在输入样例自动配置输入框中输入一段 JSON 格式的数据样例:
{
"bool_field": true,
"date_field": "2022/01/26 00:00:00",
"double_field": 3.14,
"keyword_field": "这是一行不需要分词的文本",
"long_field": 126,
"object_field": {
"sub_field": 2022
},
"text_field": "这是一行需要分词的文本,文本长度超过36个字符的会被推断为需要分词,定义为text类型"
}
其解析后的结果如图所示:


字段映射将原始数据按字段(即 key:value)分别切分为多个分词进行索引构建,检索时基于该映射进行检索。具体如下:
参数项
描述
字段名称
写入的数据中的字段名称
字段类型
字段的数据类型,包括boolean、keyword、long、double、date、text六种类型,更多字段类型可在 JSON 编辑模式中支持,参考 官方说明
包含中文
字段中包含中文且需要对中文进行检索时可开启该功能。开启后,将默认对该 text 字段使用 ik_max_word 分词器
开启索引
启用后,会对该字段构建索引用于检索,会增加索引存储
开启统计
启用后,可以对字段值做统计分析,会增加索引存储
2. 时间字段:指在实际数据中类型为 date 的字段,该字段用于记录数据的时间,索引创建成功后该字段不可更改。
时间字段默认打开开启索引开启统计,且不可关闭。
关闭动态生成时,时间字段将把表格中为date类型的字段映射过来,您可下拉选择其中一个作为时间字段。
3. 写入模式:指数据写入到索引的模式,索引创建成功后不可更改。当前支持两种写入模式:
追加写(适用于日志场景): 表示数据会写入到最新的后备索引。
时间分区写(适用于监控场景): 表示会根据时间字段写入对应时间范围的后备索引。


生命周期配置

1. 存储分层 存储分层表示您可将索引根据其访问频率存储到不同属性的节点上。例如,您可将访问频率较低且更新频率较低的数据移入温层,以节约成本。索引迁移到不同层级的时间,将从索引滚动更新开始计算。
2. 过期删除
时间上限:当写入模式为追加写时,表示从后备索引的创建时间开始算起,当达到指定的值时,该后备索引将会被删除;当写入模式为按时间分区写时,表示从后备索引结束写入的时间开始算起,当达到指定值时,该后备索引将会被删除。
说明:
自治索引有类似回收站的机制,如果通过配置expire.max_age 和 expire.max_size 字段的方式控制后备索引的删除,被删除的后备索引会首先被解除挂载并设置为隐藏,等到后备索引中的数据过期一天后才真正删除。目前可以通过提交工单来调整回收站的保留时间。

高级设置

1. 创建参数
分片数设置:分片是索引中存储数据的单元,若动态调整打开,这里的分片数仅作为初始的后备索引的分片值,后续算法会自动优化为最佳值。
副本数:每个主分片拥有的副本分片的数量。
刷新频率:数据写入索引后能够被搜索到的时间间隔。
2. 索引滚动
滚动周期:从开始日期起,索引将以指定时间为周期,每一周期进行一次滚动。
动态调整:平台将根据业务负载动态调整滚动周期,使得索引保持最佳状态。





JSON 编辑模式

1. 功能说明 当前支持通过切换到 JSON 编辑模式创建索引,点击索引配置右上角切换至 JSON 模式即可进入 JSON 编辑页面。切换模式成功后,配置信息将自动同步到对应模式的界面中。
2. 常用参数说明 自治索引通过提供 options 以及 policy,帮助用户快速进行滚动更新以及生命周期管理相关的设置,同时,兼容 Elasticsearch 社区中 settings 与 mappings 的原生语法,降低使用门槛,常见参数如下:
类别
参数项
参数描述
填写说明
settings
index.number_of_shards
主分片数
数值类型,该值需为大于等于1的整数
index.number_of_replicas
副本数
数值类型,该值需为大于等于0的整数
index.refresh_interval
刷新频率
字符串类型,单位当前支持设为d(天)、h(小时)、m(分钟)、s(秒)、ms(毫秒)、micros(微秒)、nanos(纳秒),例如“30s”表示将刷新频率设为30秒
mappings
field
字段名称
字符串类型,非中文且不可重复
type
字段类型
字符串类型,可设为“boolean、keyword、long、double、date、text”,更多字段类型可参考 官方说明
analyzer
分词器
字符串类型,支持ES集群中存在的分词器,例如“ik_max_word”
index
开启索引
布尔类型,可设为“true”或者是“false”
doc_values
开启统计
布尔类型,可设为“true”或者是“false”
options
pre_create.enable
索引预创建
布尔类型,默认开启,可设为“true”或者是“false”。请注意,写入模式为追加写的情况下,如关闭了索引预创建,后备索引将不会按照指定的滚动周期进行滚动
rollover.dynamic
动态调整滚动周期
布尔类型,可设为“true”或者是“false”
rollover.max_age
滚动周期
字符串类型,单位可设为“d”天或者“h”小时,例如“1d”表示将滚动周期设为1天
shard_num.dynamic
动态调整分片
布尔类型,可设为“true”或者“false”
write_mode
写入模式
字符串类型,“append_only”表示追加写,“time_partition”表示按时间分区写
expire.max_age
过期删除时间上限
字符串类型,单位可设为“d”天或者“h”小时,例如“1d”表示将时间上限设为1天
expire.max_size
过期删除空间上限
字符串类型,单位可设为“PB、TB、GB、MB、KB、B”,例如“1TB”表示将空间上限设为1TB
policy
warm.actions.migrate
温阶段索引迁移设置
请查看官方说明 Migrate 设置
warm.min_age
移入温层存储时间
字符串类型,单位可设为“d”天或者“h”小时,例如“1d”表示从索引滚动更新开始,1天后移入温层
cold.actions.migrate
冷阶段索引迁移设置
请查看官方说明 Migrate 设置
cold.min_age
移入冷层存储时间
字符串类型,单位可设为“d”天或者“h”小时,例如“1d”表示从索引滚动更新开始,1天后移入冷层


创建完成

单击确认创建,索引创建成功后,将自动跳转到该索引所在的索引列表

后续步骤

索引检索与分析

数据管理支持快速跳转到检索以及分析界面,实现索引检索与分析。详情请参考 索引检索与分析

索引基础信息

数据管理支持在控制台查看索引的相关信息,以及进行后备索引的管理。详情请参考 索引基础信息

索引监控

数据管理提供了索引粒度的丰富的监控指标,可以帮助在索引使用过程中查看索引的实时监控数据。详情请参考 索引监控

索引配置管理

数据管理支持在控制台灵活地进行索引配置信息的修改,以适应业务的变化。修改配置成功后,生命周期的相关配置将在所有后备索引中生效,其他配置仅在后续滚动出的后备索引中生效,已有的后备索引不会更新。详情请参考 索引配置管理