因为ik目前最高支持es 8.2.3,所以本文基于8.2.3的环境编写.
1、集群环境构建
参考Es 集群搭建及相关配置和相关参数解读,分别下载Es和kibana 8.2.3版本,部署到相应的服务器,删除es原有的data目录.配置elasticsearch.yml,节点配置如下:
节点配置
cluster.name: test_cluster
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
transport.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
discovery.seed_hosts: ["127.0.0.1:9300", "172.18.100.231:9300","172.18.100.224:9300"]
cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
xpack.security.enabled: false
注意事项:节点名称、杀毒软件、防火墙等等,否则集群构建会失败
接着运行各自节点的elasticsearch.bat文件.
环境构建到此结束.
2、ik分词器安装部署 下载地址
注意es和ik分词器的版本匹配.这里下载8.2.3的ik分词器
下载完毕之后去es的工作目录的plugins文件夹下新建ik文件夹,将下载下来的ik压缩包解压缩至ik文件夹下,重启es,集群中所有节点重复此操作.
3、ik 分词器简介
3.1 词库介绍
ik分词器主要有以下词库,位于config目录下
(1)、main.dic 主词库,包含日常生活中常用的词
(2)、stopword.dic 英文停用词,当出现该词库中的文本内容时,将不会建立倒排索引
(3)、quantifier.dic 计量单位等
(4)、suffix.dic 后缀名、行政单位等
(5)、surname.dic 百家姓等
(6)、preposition.dic 语气词等
3.2 配置介绍
IKAnalyzer.cfg.xml ik配置文件位于config目录下
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict"></entry>
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords"></entry>
<!--用户可以在这里配置远程扩展字典 -->
<!-- <entry key="remote_ext_dict">words_location</entry> -->
<!--用户可以在这里配置远程扩展停止词字典-->
<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>
主要用于扩展配置.
3.3 使用方式
ik分词器主要分为ik_smart
、ik_max_word
下面分别测试,使用kibna dev tools.
ik_smart
GET test_index/_analyze
{
"tokenizer": "ik_smart",
"text": ["中华人民共和国"]
}
分词结果如下:
{
"tokens" : [
{
"token" : "中华人民共和国",
"start_offset" : 0,
"end_offset" : 7,
"type" : "CN_WORD",
"position" : 0
}
]
}
ik_max_word
GET test_index/_analyze
{
"tokenizer": "ik_max_word",
"text": ["中华人民共和国"]
}
分词结果如下:
{
"tokens" : [
{
"token" : "中华人民共和国",
"start_offset" : 0,
"end_offset" : 7,
"type" : "CN_WORD",
"position" : 0
},
{
"token" : "中华人民",
"start_offset" : 0,
"end_offset" : 4,
"type" : "CN_WORD",
"position" : 1
},
{
"token" : "中华",
"start_offset" : 0,
"end_offset" : 2,
"type" : "CN_WORD",
"position" : 2
},
{
"token" : "华人",
"start_offset" : 1,
"end_offset" : 3,
"type" : "CN_WORD",
"position" : 3
},
{
"token" : "人民共和国",
"start_offset" : 2,
"end_offset" : 7,
"type" : "CN_WORD",
"position" : 4
},
{
"token" : "人民",
"start_offset" : 2,
"end_offset" : 4,
"type" : "CN_WORD",
"position" : 5
},
{
"token" : "共和国",
"start_offset" : 4,
"end_offset" : 7,
"type" : "CN_WORD",
"position" : 6
},
{
"token" : "共和",
"start_offset" : 4,
"end_offset" : 6,
"type" : "CN_WORD",
"position" : 7
},
{
"token" : "国",
"start_offset" : 6,
"end_offset" : 7,
"type" : "CN_CHAR",
"position" : 8
}
]
}
根据分词结果,很明显ik_max_word分的粒度更加的细和全面,所以一般都是用ik_max_word作为分词器.
3.4 扩展分词
一般情况下,词库是够用的,但是如果碰到一些特殊词汇如网络用词,这个时候就需要手动添加相关的词汇进入到词库中.ik添加自定义词库的步骤如下
(1)、在config目录下,新增自定义词库文件
内容其中一个文件如下:
(2)、修改配置文件如下:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">custom_1.dic;custom_2.dic</entry>
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords"></entry>
<!--用户可以在这里配置远程扩展字典 -->
<!-- <entry key="remote_ext_dict">words_location</entry> -->
<!--用户可以在这里配置远程扩展停止词字典-->
<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>
(3)、集群中所有的节点重复此操作
(4)、重启所有节点
(5)、测试
dev tools执行以下语句
GET test_index/_analyze
{
"tokenizer": "ik_max_word",
"text": ["啊啦搜"]
}
结果如下:
{
"tokens" : [
{
"token" : "啊啦搜",
"start_offset" : 0,
"end_offset" : 3,
"type" : "CN_WORD",
"position" : 0
}
]
}
啊啦搜被作为一个词进行了分词,说明自定义词库生效了.
4、ik 分词器字库远程热更新
这里用dotnet举例,版本net6,远程词库的要求请参考官方文档
net6 api接口如下:
[HttpGet("extdics")]
[HttpHead("extdics")]
public async Task GetExtDicsAsync(string type)
{
var filePath = type == "stop" ? Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "TokenizerExtFiles", "remote_ext_stopwords.txt") : Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "TokenizerExtFiles", "remote_ext_dict.txt");
using (var fileStream =System.IO.File.Open(filePath, FileMode.Open))
{
byte[] result = new byte[fileStream.Length];
await fileStream.ReadAsync(result, 0, (int)fileStream.Length, _httpContextAccessor.HttpContext.RequestAborted);
var contentWithNoBom= Encoding.UTF8.GetString(result).WithNobom();
if (_httpContextAccessor.HttpContext != null)
{
_httpContextAccessor.HttpContext.Response.Headers["Last-Modified"] = result.Length.ToString();
_httpContextAccessor.HttpContext.Response.Headers["ETag"] = result.Length.ToString();
_httpContextAccessor.HttpContext.Response.ContentType = "text/plain;charset=utf-8";
await _httpContextAccessor.HttpContext.Response.Body.WriteAsync(Encoding.UTF8.GetBytes(contentWithNoBom), _httpContextAccessor.HttpContext.RequestAborted);
}
}
}
将api所在站点发布至服务器,接着修改ik配置文件IKAnalyzer.cfg.xml,集群中所有节点重复此操作
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict"></entry>
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords"></entry>
<!--用户可以在这里配置远程扩展字典 -->
<entry key="remote_ext_dict">http://172.18.100.231:12342/ik/extdics?type=dict</entry>
<!--用户可以在这里配置远程扩展停止词字典-->
<entry key="remote_ext_stopwords">http://172.18.100.231:12342/ik/extdics?type=stop</entry>
</properties>
上述操作完成后,执行以下代码:
GET test_index/_analyze
{
"tokenizer": "ik_max_word",
"text":"你好 张三 阿拉索"
}
分词结果如下:
{
"tokens" : [
{
"token" : "你好",
"start_offset" : 0,
"end_offset" : 2,
"type" : "CN_WORD",
"position" : 0
},
{
"token" : "张三",
"start_offset" : 3,
"end_offset" : 5,
"type" : "CN_WORD",
"position" : 1
},
{
"token" : "三",
"start_offset" : 4,
"end_offset" : 5,
"type" : "TYPE_CNUM",
"position" : 2
},
{
"token" : "阿拉",
"start_offset" : 6,
"end_offset" : 8,
"type" : "CN_WORD",
"position" : 3
},
{
"token" : "索",
"start_offset" : 8,
"end_offset" : 9,
"type" : "CN_CHAR",
"position" : 4
}
]
}
阿拉索被拆分成了两个词,你好 张三也被分成两个词,接着修改远程词库.强制将阿拉索分成一个词,同时禁用你好和张三两个词
es控制台显示词库加载完毕,看下效果.分词结果如下:
{
"tokens" : [
{
"token" : "三",
"start_offset" : 4,
"end_offset" : 5,
"type" : "TYPE_CNUM",
"position" : 0
},
{
"token" : "阿拉索",
"start_offset" : 6,
"end_offset" : 9,
"type" : "CN_WORD",
"position" : 1
},
{
"token" : "阿拉",
"start_offset" : 6,
"end_offset" : 8,
"type" : "CN_WORD",
"position" : 2
},
{
"token" : "索",
"start_offset" : 8,
"end_offset" : 9,
"type" : "CN_CHAR",
"position" : 3
}
]
}
内容正确,说明远程词库生效.
其余内容参考官方文档