ElasticSearch 分析与分析器
1. 分析过程
分析(analysis)过程如下：
- 首先，将一个文本块划分为适用于倒排索引的独立的词条(term)
- 然后对这些词进行标准化，提高它们的’可搜索性’或’查全率’ 上面的工作就是由分析器(Analyzer)来完成的。
2. 分析器组成
分析器（Analyzer） 一般由三部分构成，字符过滤器（Character Filters）、分词器（Tokenizers）、分词过滤器（Token filters）。
2.1 字符过滤器
首先字符串要按顺序依次经过几个字符过滤器(Character Filter)。它们的任务就是在分词前对字符串进行一次处理。字符过滤器能够剔除HTML标记，或者转换 & 为 and。
2.2 分词器
下一步，字符串经过分词器(Tokenizers)被分词成独立的词条(term)。一个简单的分词器可以根据空格或逗号将文本分成词条。
2.3 分词过滤器
最后，每个词条都要按顺序依次经过几个分词过滤器(Token Filters)。这个过程可能会改变词条（例如，将 Quick 转为小写），删除词条（例如，删除像 a、and、the 这样的停用词），或者增加词条（例如，像 jump 和 leap 这样的同义词）。
Elasticsearch提供很多开箱即用的字符过滤器，分词器和分词过滤器。这些可以组合起来创建自定义的分析器以应对不同的需求。
3. 内建分析器
不过，Elasticsearch还内置了一些分析器，可以直接使用它们。下面我们列出了几个比较重要的分析器，并演示它们有啥差异。我们看看每个分析器会从下面的字符串得到哪些词条：
Set the shape to semi-transparent by calling set_trans(5)3.1 标准分析器（Standard analyzer）
标准分析器是 Elasticsearch 默认使用的分析器。对于文本分析，它对于任何语言都是最佳选择（对于任何一个国家的语言，这个分析器基本够用）。它根据Unicode Consortium定义的单词边界(word boundaries)来切分文本，然后去掉大部分标点符号。最后，把所有词条转为小写。
String standardAnalyzer = "standard";
String value = "Set the shape to semi-transparent by calling set_trans(5)";
AnalyzeAPI.analyzeByAnalyzer(client, standardAnalyzer, value);产生的结果为：
set, the, shape, to, semi, transparent, by, calling, set_trans, 5AnalyzeAPI.analyzeByAnalyzer 自定义的一个工具方法，具体实现请看下面介绍。
3.2 简单分析器（Simple analyzer）
简单分析器将根据不是字母的任何字符来切分文本，然后将每个词条转为小写。
String simpleAnalyzer = "simple";
String value = "Set the shape to semi-transparent by calling set_trans(5)";
AnalyzeAPI.analyzeByAnalyzer(client, simpleAnalyzer, value);产生的结果为：
set, the, shape, to, semi, transparent, by, calling, set, trans3.3 空格分析器（Whitespace analyzer）
空格分析器根据空格来切分文本。不会转换为小写。
String whitespaceAnalyzer = "whitespace";
String value = "Set the shape to semi-transparent by calling set_trans(5)";
AnalyzeAPI.analyzeByAnalyzer(client, whitespaceAnalyzer, value);产生结果为：
Set, the, shape, to, semi-transparent, by, calling, set_trans(5)3.4 语言分析器（Language analyzers）
特定语言分析器适用于很多语言。它们能够考虑到特定语言的特点。例如，english 分析器自带一套英语停用词库（像 and 或 the 这些与语义无关的通用词），分析器将会这些词移除。由于理解英语语法的规则，这个分词器可以提取英语单词的词干。
以英语分析器举例：
String englishAnalyzer = "english";
String value = "Set the shape to semi-transparent by calling set_trans(5)";
AnalyzeAPI.analyzeByAnalyzer(client, englishAnalyzer, value);产生结果为：
set, shape, semi, transpar, call, set_tran, 5注意 transparent、calling 和 set_trans 是如何转为词干的。
4. 什么时候使用分析器
当我们索引一个文档时，全文字段会被分析为单独的词条来创建倒排索引。不过，当我们在全文字段搜索(search)时，我们要让查询字符串经过同样的分析流程处理，以确保这些词条在索引中存在。理解每个字段是如何定义的，这样才可以让它们做正确的事：
- 当你查询全文(full text)字段，查询将使用相同的分析器来分析查询字符串，以产生正确的词条列表。
- 当你查询一个确切值(exact value)字段，查询将不分析查询字符串，但是你可以自己指定。
5. 测试分析器
尤其当你是Elasticsearch新手时，对于如何分词以及存储到索引中理解起来比较困难。为了更好的理解如何进行，你可以使用analyze API来查看文本是如何被分析的。在查询中指定要使用的分析器，以及被分析的文本。
// 使用分词器进行词条分析
public static void analyzeByAnalyzer(Client client, String analyzer, String value){
IndicesAdminClient indicesAdminClient = client.admin().indices();
AnalyzeRequestBuilder analyzeRequestBuilder = indicesAdminClient.prepareAnalyze(value);
analyzeRequestBuilder.setAnalyzer(analyzer);
AnalyzeResponse response = analyzeRequestBuilder.get();
// 打印响应信息
List<AnalyzeResponse.AnalyzeToken> tokenList = response.getTokens();
for(AnalyzeResponse.AnalyzeToken token : tokenList){
logger.info("-------- analyzeIndex type {}", token.getType());
logger.info("-------- analyzeIndex term {}", token.getTerm());
logger.info("-------- analyzeIndex position {}", token.getPosition());
logger.info("-------- analyzeIndex startOffSet {}", token.getStartOffset());
logger.info("-------- analyzeIndex endOffSet {}", token.getEndOffset());
logger.info("----------------------------------");
}
}或者使用如下方式：
GET /_analyze
{
"analyzer": "standard",
"text": "Text to analyze"
}结果中每个元素代表一个单独的词条：
{
"tokens": [
{
"token": "text",
"start_offset": 0,
"end_offset": 4,
"type": "<ALPHANUM>",
"position": 1
},
{
"token": "to",
"start_offset": 5,
"end_offset": 7,
"type": "<ALPHANUM>",
"position": 2
},
{
"token": "analyze",
"start_offset": 8,
"end_offset": 15,
"type": "<ALPHANUM>",
"position": 3
}
]
}token 是实际存储到索引中的词条。 position 指明词条在原始文本中出现的位置。 start_offset 和 end_offset 指明字符在原始字符串中的位置。
6. 指定分析器
当Elasticsearch在你的文档中检测到一个新的字符串字段，自动设置它为全文string字段并用 standard 分析器分析。
你不希望总是这样。也许你想使用一个更适合这个数据的语言分析器。或者，你只想把字符串字段当作一个普通的字段，不做任何分析，只存储确切值，就像字符串类型的用户ID或者内部状态字段或者标签。为了达到这种效果，必须手动指定这些域的映射。
XContentBuilder mappingBuilder;
try {
mappingBuilder = XContentFactory.jsonBuilder()
.startObject()
.startObject(type)
.startObject("properties")
.startObject("club").field("type", "string").field("index", "analyzed").field("analyzer", "english").endObject()
.endObject()
.endObject()
.endObject();
} catch (Exception e) {
//...
}ElasticSearch版本：5.4