Elasticsearch Search API之搜索模板(search Template)

微信公众号:[中间件兴趣圈] 作者新书速递: 《RocketMQ技术内幕》新书上市,7折优惠,7折优惠啦!!!目前可在主流购物平台(京东、天猫等)购买,本书从源码角度深度分析了RocketMQ NameServer、消息发送、消息存储、消息消费、消息过滤、主从同步HA、事务消息;在实战篇重点介绍了RocketMQ运维管理界面与当前支持的39个运维命令;并在附录部分罗列了RocketMQ几乎所有的配置参数。本书得到了RocketMQ创始人、阿里巴巴Messaging开源技术负责人、Linux OpenMessaging 主席的高度认可并作序推荐。目前是国内第一本成体系剖析RocketMQ的书籍。


本节将详细介绍Elasticsearch Search API的搜索模板。

mustache模板语法

首先在学习Search Template之前,我们需要先掌握mustache模板语法,因为在ES中默认使用mustache语言来定义模板。

以下内容转载自:“https://www.cnblogs.com/DF-fzh/p/5979093.html”

Mustache 的模板语法比较简单,主要定义如下几个模板:

  • {{data}}
  • {{#data}} {{/data}}
  • {{^data}} {{/data}}
  • {{.}}
  • {{<partials}}
  • {{{data}}}
  • {{!comments}}

后续讲解基于如下数据展开:

1var souce = {
2     "name": " xiaohua ",
3      "msg": {
4          "sex": " female ", 
5          "age": " 22 ", 
6          "hobit": " reading "
7      },
8     "subject": ["Ch","En","Math","physics"] 
9}

{{data}}

{{}}两对花括号是Mustache中的标识符。花括号里的data表示键名,这句的作用是直接输出与键名匹配的键值。 例如:

1var tpl = '{{name}}';
2var html = Mustache.render(tpl, souce);
3//输出:
4xiaohua ,为souce对象中属性名为name的值。

{{#data}} {{/data}}

以#开始、以/结束表示区块,它会根据当前上下文中的键值来对区块进行一次或多次渲染,例如改写下 Demo 中的 tpl:

1var tpl = '{{#msg}} <p>{{sex}},{{age}},{{hobit}}</p> {{/msg}}';
2var html = Mustache.render(tpl, data);
3//输出:
4<p> female, 22, reading</p>

通过#msg /msg定义一个块,在这个块中的属于msg属性的作用域。

{{^data}} {{/data}}

该语法与{{#data}}{{/data}}类似,不同在于它是当data值为null或undefined或false时才渲染输出该区块内容。

1var tpl = {{^nothing}}没找到 nothing 键名就会渲染这段{{/nothing}};
2var html = Mustache.render(tpl, data);
3//输出:
4没找到 nothing 键名就会渲染这段

{{.}}

{{.}}表示枚举,可以循环输出整个数组,例如:

1var tpl = '{{#subject}} <p>{{.}}</p> {{/subject}}';
2var html = Mustache.render(tpl, data);
3//输出:
4p>Ch</p> <p>En</p> <p>Math</p> <p>physics</p>

{{>partials}}

以>开始表示子模块,如{{> msg}};当结构比较复杂时,我们可以使用该语法将复杂的结构拆分成几个小的子模块,例如:

 1var tpl = "<h1>{{namme}}</h1> <ul>{{>msg}}</ul>"
 2var partials = {msg: "{{#msg}}<li>{{sex}}</li><li>{{age}}</li><li>{{hobit}}</li>{{/msg}
 3var html = Mustache.render(tpl, data, partials);
 4//输出:
 5<h1>xiaohua</h1>
 6<ul>
 7    <li>female</li>
 8    <li>22</li>
 9    <li>reading</li>
10</ul>

{{!comments}}注释语句。 掌握了mustache语法后,我们进入ES Search Template的讲解。 所谓的搜索模板,其实有点类似于SQL语句中的预处理,就是对查询表达式中包含占位符来,在查询时指定相应的参数,这类模板,也可以预先存储在ES服务器中。

ES搜索模板详解

下面从示例开始着手介绍:

 1GET _search/template
 2{
 3    "source" : {
 4      "query": { "match" : { "{{my_field}}" : "{{my_value}}" } },
 5      "size" : "{{my_size}}"
 6    },  // @1
 7    "params" : {   // @2
 8        "my_field" : "message",
 9        "my_value" : "some message",
10        "my_size" : 5
11    }
12}

代码@1:通过souce字段定义查询字符串,其中使用mustache语法来定义占位符的意义。 代码@2:通过params参数设置参数,此时请注意参数中key需要与模板中的 {{key}}相等,否则无法完成替换。

上述对应的JAVA Demo代码如下:

 1public static void searchBySearchTemplate() {
 2        RestHighLevelClient client = EsClient.getClient();
 3        try {
 4            SearchRequest searchRequest = new SearchRequest();
 5            searchRequest.indices("mapping_search_after");
 6
 7            SearchTemplateRequest templateRequest = new SearchTemplateRequest(searchRequest);   // @1
 8
 9            Map<String, Object> scriptParams = new HashMap<>();
10            scriptParams.put("termQuery_field", "user");
11            scriptParams.put("termQuery_field_value", "user1");
12            scriptParams.put("my_size", 5);
13            templateRequest.setScriptParams(scriptParams);    // @2
14     templateRequest.setScriptType(ScriptType.INLINE);    // @3 start
15            templateRequest.setScript("{\r\n" + 
16                    "      \"query\": { \"match\" : { \"{{termQuery_field}}\" : \"{{termQuery_field_value}}\" } },\r\n" + 
17                    "      \"size\" : \"{{my_size}}\"\r\n" + 
18                    "    }");              // @3 end
19
20            SearchTemplateResponse result = client.searchTemplate(templateRequest, RequestOptions.DEFAULT);
21            System.out.println(result);
22        } catch (Throwable e) {
23            e.printStackTrace();
24        } finally {
25            EsClient.close(client);
26        }
27    }

代码@1:构建SearchTemplateRequest对象时通常会传入一个SearchRequest对象,由SearchRequest对象指定查询的索引。 代码@2:使用scriptParams接受Map类型的参数,本次查询的参数。 代码@3:使用scriptType参数,指定脚步的位置,其中ScriptType.INLINE,则脚步的内容由script属性指定;如果类型为ScriptType.STORE,表示存储在es服务器中,其script表示脚本的内容,如果要使用ScriptType.STORE,首先需要使用增加脚本API添加模板,将在下文介绍如何调用API添加脚本。

converting parameters to JSON

将参数转换为JSON。可以通过 {{#toJson}}parameter{{/toJson}} 语法指示parameter要被替换为json对象,而不是普通的字符串,示例如下:

1GET _search/template
2{
3  "source": "{ \"query\": { \"terms\": {{#toJson}}statuses{{/toJson}} }}",
4  "params": {
5    "statuses" : {
6        "status": [ "pending", "published" ]
7    }
8  }
9}

其需要传入的值为:

1{
2    "statuses" : {
3        "status": [ "pending", "published" ]
4    }
5}

其表示的含义如下:

1{
2  "query": {
3    "terms": {
4      "status": ["pending","published"]
5    }
6  }
7}

对应的JAVA示例如下:

 1public static void searchBySearchTemplate_toJson() {
 2        RestHighLevelClient client = EsClient.getClient();
 3        try {
 4            SearchRequest searchRequest = new SearchRequest();
 5            searchRequest.indices("mapping_search_after");
 6            SearchTemplateRequest templateRequest = new SearchTemplateRequest(searchRequest);
 7            templateRequest.setScript("{ \"query\": { \"terms\": {{#toJson}}ids{{/toJson}} }}");
 8            Map<String, Object> scriptParams = new HashMap<>();
 9            Map<String, Object> idMap = new HashMap<>();
10            idMap.put("id", Arrays.asList(1,2));
11            scriptParams.put("ids", idMap);
12            templateRequest.setScriptParams(scriptParams);
13            templateRequest.setScriptType(ScriptType.INLINE);
14            SearchTemplateResponse result = client.searchTemplate(templateRequest, RequestOptions.DEFAULT);
15            System.out.println(result);
16        } catch (Throwable e) {
17            e.printStackTrace();
18        } finally {
19            EsClient.close(client);
20        }
21    }

concatenating array of values

{{#join}数组{{/join}}函数可用于将数组的值连接为逗号分隔的字符串:

 1GET _search/template
 2{
 3  "source": {
 4    "query": {
 5      "match": {
 6        "emails": "{{#join}}emails{{/join}}"
 7      }
 8    }
 9  },
10  "params": {
11    "emails": [ "username@email.com", "lastname@email.com" ]
12  }
13}

其转换后的ES查询语法如下:

1{
2    "query" : {
3        "match" : {
4            "emails" : "username@email.com,lastname@email.com"
5        }
6    }
7}

默认是用逗号连接,可以通过delimiter属性自定义分隔符号,例如:

 1GET _search/template
 2{
 3  "source": {
 4    "query": {
 5      "range": {
 6        "born": {
 7            "gte"   : "{{date.min}}",
 8            "lte"   : "{{date.max}}",
 9            "format": "{{#join delimiter='||'}}date.formats{{/join delimiter='||'}}"
10            }
11      }
12    }
13  },
14  "params": {
15    "date": {
16        "min": "2016",
17        "max": "31/12/2017",
18        "formats": ["dd/MM/yyyy", "yyyy"]
19    }
20  }
21}

其代表的ES查询语法如下:

 1{
 2    "query" : {
 3      "range" : {
 4        "born" : {
 5          "gte" : "2016",
 6          "lte" : "31/12/2017",
 7          "format" : "dd/MM/yyyy||yyyy"
 8        }
 9      }
10    }
11}

Java的使用方式不变,就不再重复给出。

Default values

可以通过{{var}}{{^var}}default{{/var}}来设定默认值。

 1{
 2  "source": {
 3    "query": {
 4      "range": {
 5        "line_no": {
 6          "gte": "{{start}}",
 7          "lte": "{{end}}{{^end}}20{{/end}}"
 8        }
 9      }
10    }
11  },
12  "params": { ... }
13}

表示如果params中如果存在end参数,就使用end参数的值,如果没有,则使用默认值20。

Encoding URLS

可以使用{{#url}}value{{/url}} 来编码URL。

 1GET _render/template
 2{
 3    "source" : {
 4        "query" : {
 5            "term": {
 6                "http_access_log": "{{#url}}{{host}}/{{page}}{{/url}}"
 7            }
 8        }
 9    },
10    "params": {
11        "host": "https://www.elastic.co/",
12        "page": "learn"
13    }
14}

其对应的ES查询语法为:

1{
2    "template_output" : {
3        "query" : {
4            "term" : {
5                "http_access_log" : "https%3A%2F%2Fwww.elastic.co%2F%2Flearn"
6            }
7        }
8    }
9}

Pre-registred template

预注册搜索模板。

使用如下方式添加搜索模板,此时会存储在es服务器中,举例如下:

 1POST _scripts/<templatename>
 2{
 3    "script": {                                                          // @1
 4        "lang": "mustache",                                     // @2              
 5        "source": {                                                   // @3
 6            "query": {                                                
 7                "match": {
 8                    "title": "{{query_string}}"
 9                }
10            }
11        }
12    }
13}

代码@1:使用script属性来定义整个模板的各个属性。 代码@2:lang,指定使用的模板脚本描述语言,这里选择的模板语言为:mustache。 代码@3:通过souce字段指定用户定义的模板。 目前作者使用的es版本为6.4.0,其高级Rest客户端并未封装增加脚步的API,故

如下示例给出基于RestClient API 添加搜索模板。

 1public void addScript(String templateName, String script) {  // @1
 2        if (StringUtils.isEmpty(templateName) || StringUtils.isEmpty(script)) {
 3            throw new RuntimeException("参数非法");
 4        }
 5
 6        StringBuilder scriptBody = new StringBuilder();
 7        scriptBody.append("{\"script\": {").append("\"lang\":\"mustache\",").append("\"source\":")
 8                .append(script).append("}").append("}");
 9
10        RestClient lowRestClient = restHighLevelClient.getLowLevelClient();
11        Request request = new Request("POST", "/_scripts/" + templateName);
12        request.setJsonEntity(scriptBody.toString());
13        try {
14            Response response = lowRestClient.performRequest(request);
15            int statusCode = response.getStatusLine().getStatusCode();// 响应状态行,可以从中获取状态码
16            if (statusCode == 200) {
17                // 获取指定名称的响应头,这里可以根据返回类型,进行结果集解码,默认为json
18                String responseBody = EntityUtils.toString(response.getEntity());// 响应体包含在
19                // {"acknowledged":true}
20                JSONObject result = JSON.parseObject(responseBody);
21                if(!result.getBoolean("acknowledged")) {
22                    throw new RuntimeException("添加模板失败:" + responseBody);
23                }
24            } else {
25                throw new RuntimeException("添加模板失败");
26            }
27        } catch (IOException e) {
28            throw new RuntimeException("添加模板失败", e);
29        }
30    }

对参数做个简单的说明: 1)String templateName:模板名称。 2)String script:脚本内容。

例如要先存储如下搜索模板:

1{
2    "query": { 
3        "match" : { 
4            "{{termQuery_field}}" : "{{termQuery_field_value}}" 
5        } 
6    },
7    "size" : "{{my_size}}"
8}

Java示例代码:

1public static void testCreateSearchTemplate() {
2        ElasticsearchTemplate template = new ElasticsearchTemplate();
3        try {
4            template.addScript("testTemplate02",
5                    "{\"query\": { \"match\" : { \"{{termQuery_field}}\" : \"{{termQuery_field_value}}\" } },\"size\" : \"{{my_size}}\"}");
6        } finally {
7            template.close();
8        }
9}

模板存储后,就可以直接根据名称(id)来使用了。

1templateRequest.setScriptParams(scriptParams);
2templateRequest.setScriptType(ScriptType.STORED);
3templateRequest.setScript("testTemplate02");

搜索模板就介绍到这里。

Multi Search Template

多模板搜索API可以在一次请求中执行多个搜索模板,其请求格式与Bulk、Multi-Search请求格式与工作机制类似。在这里就不在过细讲解,就是在请求的时候将多个请求放入一个集合中,然后返回结果也按照该顺序进行返回。对应的API接口为:RestHighLevelClient#msearchTemplate。

本节详细介绍了ElasticSearch 搜索模板的相关知识。

原文发布于微信公众号 - 中间件兴趣圈(dingwpmz_zjj)

原文发表时间:2018-12-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券