ES DSL查询
1、Query String Search
参考前面的文章
2、全文检索
ES中全文检索的方式分为以下几种:
(1)、match语法
GET /logs/_search
{
"query": {
"match": {
"Name": "apple watch"
}
}
}当向ES插入数据时,如果采用默认设置,且设置了倒排索引,那么对应的字符串会被分词并建立倒排表.且到使用match进行匹配时,如上代码,匹配的是logs索引的Name字段,其值也会被分词,然后去倒排表检索,返回结果集.那么logs索引中Name字段包含apple和watch分词的document记录都会被检索出来,且如果有document记录的Name字段被分词后同时包含apple和watch的记录其评分会比包含一个的要高.具体的评分算法后续文章会介绍,频分关系到记录的排序.
(2)、match_all语法
Get /logs/_search
{
"query":{
"match_all": {}
}
}查询logs索引下所有的记录.
(3)、multi_match语法
Get /logs/_search
{
"query":{
"multi_match": {
"query": "apple domestic",
"fields": ["Name","Desc"]
}
}
}查找logs索引下,字段Name、Desc包含apple或者domestic分词的document记录.支持多字段查找.
(4)、match_phrase语法
GET /logs/_search
{
"query": {
"match_phrase": {
"Name": "apple earphone"
}
}
}于上面的语法不同的是,apple watch只能关联apple watch的文档,无法查询watch apple,因为match_phrase将apple watch看作一个整体(短语)进行搜索.而其余语法会进行先分词然后在进行搜索.
(5)、match与match_phrase的异同点
相同点：两者都会对查询内容进行分词
不同点：match只需要包含一个词项就能检索到,而match_phrase需要包含所有的词项，且顺序内容要完全一致才能被检索到.
3、精准匹配
(1)、term语法
GET /logs/_search
{
"query": {
"term": {
"Name": "apple"
}
}
}需要注意以下问题,代码如下:
GET /logs/_search
{
"query": {
"term": {
"Name": "apple watch"
}
}
}这里会去倒排表检索term包含apple watch词项的document,但是一般插入内容会被分词,极少会出现这种情况,所以一般情况下只能检索到包含apple或者watch词项的document,所以以上demo一般清苦下无查询结果集.
(2)、term与match系列的区别
term语法查询与match系列不同的是term不会对查询内容进行分词.而match会进行分词.
(3)、keyword
(1)中说明了term的缺点,通过keyword关键字就能解决其问题,产生问题的原因是因为使用动态映射时,ES会对Text类型进行分词,同时会有一个keyword类型,其构造大致如下:
"Desc": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256 //字符串超过256进行字符串截取
}
}
}ES在对Desc字段进行分词的同时,并不会对Keyword进行分词,但是超过当前字段内容如果大于256则会进行内容截取.那么就可以通过keyword和term进行内容的精准匹配了代码如下:
GET /logs/_search
{
"query": {
"term": {
"Name.keyword": "huawei watch"
}
}
}(4)、terms 语法
GET /logs/_search
{
"query": {
"terms": {
"Tags.keyword": [
"Breakfast","Zhangsan","Cheap"
]
}
}
}terms语法就是在term上的in操作.
(5) range语法
GET /logs/_search
{
"query": {
"range": {
"Price": {
"gte": 100,
"lte": 112
}
}
}
}查询Price字段值在100和112范围之间的document记录.
注:gte代表大于等于. gt-大表大于 lte代表小于等于 lt代表小于
时间操作同样如此,代码如下:
GET /logs/_search
{
"query": {
"range": {
"Date": {
"gt": "2022-06-01",
"lte": "2022-07-01"
}
}
}
}查找Date日期字段大于2022-06-01小于等于2022-07-01范围之间的记录.
4、过滤器 filter
本质也是一种查询,与query类似.区别是,query查询的是当前查询语句与document的相关度是怎么样的,也就是query会计算相关度评分,query的查询结果会以相关度评分作为排序条件,进行排序。而filter不会计算相关度评分,且filter有相应的缓存机制,这也是filter的查询效率比query高的原因,调用代码如下:
GET /logs/_search
{
"query": {
"constant_score": {
"filter":
{
"term": {
"Name": "huawei"
}
}
}
}
}constant_score代表采用固定的得分,查询的评分不在计算和改变.结果集的评分都是1.0
5、组合查询 Bool Query
bool查询可以组合多个查询条件,一般分为两种类型
(1)、计算评分的查询 must,should
满足must和should子句的文档会合并起来计算分值
must查询如下:
GET /logs/_search
{
"query": {
"bool": {
"must": [
{
"term": {
"Name.keyword": {
"value": "huawei watch"
}
}
},
{
"match": {
"Desc": "huawei"
}
}
]
}
}
}查询的是logs索引中Name的keyword值为huawei watch的且Desc字段分词后存在索引值为huawei的结果集,关于keyworld参考上面的介绍.
注：Must语法相当于and操作.所有的条件必须都满足.
should查询如下:
GET /logs/_search
{
"query": {
"bool": {
"should": [
{
"match_phrase": {
"Name": "apple phone"
}
},
{
"range": {
"Price": {
"gte": 555,
"lte": 666
}
}
}
]
}
}
}在没有filter、must、must_not等子句是,should操作等同于关系型数据库的or操作
(2)、不计算评分的查询 filter和must_not
filter查询如下:
GET /logs/_search
{
"query": {
"bool": {
"filter": [
{
"term": {
"Name.keyword": {
"value": "huawei watch"
}
}
},
{
"match": {
"Desc": "huawei"
}
}
]
}
}
}filter的查询结果集和must相同,功能也相同相当于and操作,所有的条件必须都满足,区别是filter不计算评分.
must_not查询如下:
GET /logs/_search
{
"query": {
"bool": {
"must_not": [
{
"term": {
"Name.keyword": {
"value": "huawei watch"
}
}
},
{
"match": {
"Desc": "huawei"
}
}
]
}
}
}must_not查询的结果集是must的!操作,所有的条件必须都不满足,才能计入结果集,其不计算评分.
(3)must和fliter的组合查询
GET /logs/_search
{
"query": {
"bool": {
"must": [
{
"match": {
"Name": "earphone"
}
}
],
"filter": [
{
"range": {
"Price": {
"gte": 111,
"lte": 333
}
}
}
]
}
}
}must和filter组合的查询的好处是,当数据量特别大时,可以用filter先确定数据集的大致范围,之后利用must进行计算评分.提高查询的效率.应为filter只会做查询结果的匹配不会计算评分且fliter会对热点查询进行缓存,进一步提高查询效率.