开启索引

最近更新时间:2019-09-11 14:34:36

日志服务 CLS 提供实时日志查询能力,帮助您快速定位业务问题。在进行日志检索之前,您需要进行索引的相关配置并开启索引。

检索原理

日志检索是根据日志内容的关键词进行检索,将日志内容的关键词和用户输入的信息进行匹配。其中用户可根据自己业务场景具体需求,通过自定义分词符和选择大小写是否敏感灵活调整关键词。下面以用户的某条日志内容为例子,介绍分词符和大小写敏感的概念:

10002345987;write;ERROR;code=400;topic does not exist;

分词符

原始日志文本可以根据分词符切分成多个关键词,以方便用户检索。例如:

  • 用户设置分词符为;=,则日志内容会被切分成 6 个单词10002345987writeERRORcode400topic does not exist。在精准搜索中,用户只需输入任意一个单词,即可搜索到此条日志内容
  • 用户设置分词符为空,整条日志内容会被视为一个单词,在精准搜索中,用户需输入完整的单词才能搜索到此条日志。

大小写敏感

大小写敏感指对于一个字符串中的大写小写字母是否进行精确区分。例如,当分词符为;=时,那么:

  • 选择开启大小写敏感时,输入error,则不能搜索到此条日志。因为errorERROR被视为不同的关键词。
  • 选择关闭大小写敏感时,输入errorError或者ERROR,均能搜索到此条日志。

开启索引

索引是日志主题的可选项功能,需要首先选择查询的日志主题,然后开启其索引功能,具体操作步骤如下:

  1. 登录 日志服务控制台
  2. 左侧选择日志集管理,依次进入目标日志集、日志主题。
  3. 在日志主题选项卡中,选择索引配置
  4. 根据需要,开启全文索引或键值索引,并勾选是否对大小写敏感(默认不勾选)和输入分词符(默认分词符: !@#%^&*()-_="', <>/?|\;:\n\t\r[]{})。
  5. 单击【保存】,完成索引配置。
注意:

日志主题创建后,默认不开启索引,需要您手动开启。

索引类型

全文索引

日志服务将完整的单独一条日志当做文本进行查询。开启全文索引后,可以根据关键词信息进行日志检索。用户也可以自定义全文分词符,原始日志文本根据分词符切分成多个关键词,以方便用户检索。

为了更直观地说明全文分词符的功能特性,以下列举部分检索示例。

全文分词符 精准搜索 模糊搜索
设置为空 输入 “10002345987;write;error;code=400;topic does not exist;” 输入"10002345987*"
; 输入“code=400” 或 “topic does not exist” 输入"code=40?" 或 "code*"
;= 输入"code" 或 "400" 或 “code=400”均可 输入"topic*" 或 "40?”
; = 输入 “topic"或 "does" 或 "not" 或 "exist” 输入 "do*"

键值索引

日志服务可根据采集配置中设置的 key 进行键值索引配置,在键值索引配置中,根据索引需求填写所对应的 key,并指定其数据类型,目前支持 text、long、double 数据类型。其中 text 的数据类型支持自定义分词符,用户可针对不同的 key 设置不同的分词符。

数据类型

目前日志服务支持三种字段类型,详情如下:

名称 类型描述
text 文本类型
long 整型数值类型(Int 64)
double 浮点数数值类型(64 bit)

注意事项

  1. 索引关闭时采集的日志数据将无法被检索。
  2. 开启索引后,日志采集后可立即被检索。
  3. 存储数据的存储时间与日志集所设置的保存时间一致。
  4. 同一日志主题多次开启和关闭,可以检索到开启期间内的日志数据。