第十五章·Kibana深入-Dev Tools及Lucene语法

• Dev Tools介绍
• Dev Tools常用查询命令
• Lucene 语法介绍

-曾老湿, 江湖人称曾老大。

-多年互联网运维工作经验，曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维，曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台（功能如下）： 1)整合了各个公有云API，自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机，连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。

Dev Tools介绍

Dev Tools 页面包含开发工具，您可以使用这些Dev Tools与Kibana中的数据进行交互。

原先的交互式控制台Sense，使用户方便的通过浏览器直接与Elasticsearch进行交互。从Kibana 5开始改名并直接内建在Kibana，就是Dev Tools选项。

Kibana提供了Console UI来通过REST API与Elasticsearch交互，Console位于Kibana的Dev Tools栏下。Console有两个主要区域，左边是编辑区用来书写REST请求，右边用来显示请求返回结果。

Console提供了自动提示功能，可以为你提供API、方法等提示。编写完请求后点击绿色执行按钮，会在右侧面板给出请求结果。执行按钮旁边的“小扳手”按钮，可以将请求copy转化为curl(copy)，还有一个功能就是自动缩紧格式(Auto Indent)。如果对已经锁进好的代码进行Auto Indent，Console会将请求体(body)缩进在一行中。



Console支持多请求查询，只需要你将左侧选中执行即可。Console会一次请求Elasticsearch返回结果，多个请求也允许一下复制curl，非常方便。



----

Console提供了一些快捷键，来提高使用效率。

点击Console的顶部有History，会显示最近500条请求成功的历史纪录。左侧显示历史纪录，点击其中一条后会在右侧显示。



点击apply会自动copy到下面的Console编辑区，点击Clear会清空所有历史请求。

Console提供了一些基础配置，比如字体大小等。



如果不想使用Console可以在$KIBANA/config/kibana.yml中设置： console.enabled: false 这样就关闭了Console了，不过重启Kibana过程比较慢，需要几分钟。

Dev Tools常用查询命令

不管在学任何开发语言，我们第一个学的都是"Hello World"

仪式感

PUT hello_world



GET _search
{
  "query": {
    "match_all": {}
  }
}



也就是查看一下我们在ES中有多少个日志

GET _cat/indices



GET _nodes?filter_path=**.mlockall

#结果
{
  "nodes": {
    "by_wSvKYQ5ycGlHxW0UWoQ": {
      "process": {
        "mlockall": false
      }
    },
    "iYV6jXoFQsaJJCTBXtaoWA": {
      "process": {
        "mlockall": false
      }
    }
  }
}



GET _nodes/stats/process?filter_path=**.max_file_descriptors

#结果
{
  "nodes": {
    "by_wSvKYQ5ycGlHxW0UWoQ": {
      "process": {
        "max_file_descriptors": 131072
      }
    },
    "iYV6jXoFQsaJJCTBXtaoWA": {
      "process": {
        "max_file_descriptors": 131072
      }
    }
  }
}



GET _cat/shards



Lucene 语法介绍

在搜索栏输入404，会返回所有字段值中包含404的日志

使用双引号包起来作为一个短语搜索 "like Gecko"

也可以按页面左侧显示的字段搜索 限定字段全文搜索：field:value 精确搜索：关键字加上双引号filed:"value" status:404 搜索http状态码为404的日志

字段本身是否存在 _exists_：http：返回结果中需要有http字段 _missing_：http：不能含有http字段

? 匹配单个字符 * 匹配0到多个字符

可以看到两次搜索内容左上角，第一次是109 hits，第二次是182 hits

第一次匹配到的内容只有109条，第二次有182条。

? * 不能用作第一个字符，例如：?status *status

es支持部分正则功能,性能较差 domain:/adm?n.vantage(fx[prime]).com.cn/

quikc~ brwn~ foks~ ~:在一个单词后面加上~启用模糊搜索，可以搜到一些拼写错误的单词

first~ 这种也能匹配到 frist

还可以设置编辑距离（整数），指定需要多少相似度 cromm~1 会匹配到 from 和 chrome 默认2，越大越接近搜索的原始值，设置为1基本能搜到80%拼写错误的单词

在短语后面加上~，可以搜到被隔开或顺序不同的单词 "where select"~5 表示 select 和 where 中间可以隔着5个单词，可以搜到 select password from users where id=1

数值/时间/IP/字符串 类型的字段可以对某一范围进行查询 length:[100 TO 200] sip:["172.24.20.110" TO "172.24.20.140"] date:{"now-6h" TO "now"} tag:{b TO e} 搜索b到e中间的字符 count:[10 TO *] * 表示一端不限制范围 count:[1 TO 5} [ ] 表示端点数值包含在范围内，{ } 表示端点数值不包含在范围内，可以混合使用，此语句为1到5，包括1，不包括5 可以简化成以下写法： age:>10 age:<=10 age:(>=10 AND <20)

quick^2 fox 使用使一个词语比另一个搜索优先级更高，默认为1，可以为0~1之间的浮点数，来降低优先级

AND OR

+：搜索结果中必须包含此项 -：不能含有此项 +apache -jakarta test aaa bbb：结果中必须存在apache，不能有jakarta，剩余部分尽量都匹配到

(elasticsearch OR logstash) AND elasticsearch

title:(+return +"pink panther") host:(baidu OR qq OR google) AND host:(com OR cn)

+ - = && || > < ! ( ) { } [ ] ^ " ~ * ? : \ /

以上字符当作值搜索的时候需要用\转义 \(1\+1\)\=2用来查询(1+1)=2