前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Elasticsearch 如何自定义扩展词库?

Elasticsearch 如何自定义扩展词库?

作者头像
铭毅天下
发布2021-09-10 15:17:56
3.1K0
发布2021-09-10 15:17:56
举报
文章被收录于专栏:铭毅天下

Elasticsearch 实战项目中势必会用到中文分词,而中文分词器的选型包含但不限于如下开源分词器:

  • IK 分词器 https://github.com/medcl/elasticsearch-analysis-ik
  • Ansj 分词器 https://github.com/NLPchina/elasticsearch-analysis-ansj
  • jieba 分词器 https://github.com/sing1ee/elasticsearch-jieba-plugin
  • 清华大学 thulac 分词器 https://github.com/microbun/elasticsearch-thulac-plugin
  • icu 分词器 https://github.com/elastic/elasticsearch-analysis-icu

还有华为的未开源的:泊松分词器;阿里未开源的:达摩院定制的分词器。

但,不论选择何种分词器,尤其选型开源分词器,到头来都会遇到:已有词库词典数据无法满足定制化项目需求的情况。

那么,实战中如何解决词典扩展问题呢?本文给出实战思路。

1 认知前提

1.1 分词器选型

本文验证使用的 IK 分词器,其他分词器原理相同。

1.2 新扩充词典对历史索引数据无效

由于:分段的不可修改性,新扩展的词典只对扩展后的那一刻之后的写入数据生效。

如果想让历史索引数据生效,需要重新导入数据或者 reindex 将历史索引迁移到新索引。迁移过程中,可以以别名统一对外服务,以确保用户无感知。

2、新词库从哪里来?

2.1 平时积累或算法团队提供的新词库

这个得靠平时项目的积累、互联网搜集、或者公司算法团队自研新词发现算法。

比如:微信文章分词发现的新词库如下:

自然语言处理 NLP 领域新词发现是个领域和方向,感兴趣的可以搜索查看“新词发现”相关资料。

推荐阅读:https://spaces.ac.cn/archives/4256

2.2 互联网开源词库

仅以搜狗输入法为例,有个“细胞词库”的概念。

搜狗官方释义如下:

  • 系统词库——输入法自带的词库,为您的输入提供基本的字词。
  • 细胞词库——全部由网友来贡献。搜狗鼓励用户积极上传或编辑细胞词库,为中文输入的演变做出自己的贡献。

https://pinyin.sogou.com/help.php?list=6&q=3

细胞词库样例截图如下,各分类词库均支持下载。

2.3 爬取特定领域词库

比如:“亚硝酸盐”领域,非专业不知道有哪些关键词,客户也不一定提供。

通过学术搜索,找相关文章的关键词,下载后去重导入词典就是很好的扩展方案。

仅以万方数据库为例:

3 静态扩展词典

静态指:在 Elasticsearch 集群部署完毕后,安装 ik 分词器的时候,不仅使用 ik 开源自带的分词器,而且加上满足自身项目要求的词典。

这种词典的添加或更新,必须重新启动 Elasticsearch 才能生效。

针对搜狗词库为例的互联网词库的使用步骤如下:

3.1 步骤 1:下载词库

若需全量,爬虫实现即可。

全量词库的地址:

https://pinyin.sogou.com/dict/cate/index/403

3.2 步骤 2:将.scel 转为 txt 文本格式

可以借助 python 脚本实现,或者借助第三方工具,如:深蓝词库转换工具。

参考如下:

3.3 步骤 3:将生成的文本文件去重

借助:shell 脚本 sort、uniq 即可实现,比如生成sogou_ext.dic文件。

3.4 步骤 4:将生成待添加词库添加到 IK 配置文件中

如上修改对应的IK 插件配置文件地址:

代码语言:javascript
复制
./config/analysis-ik/IKAnalyzer.cfg.xml

3.5 步骤 5:重新启动 Elasticsearch 节点

对比一下,更新词库前和更新词库后的分词结果如下:

显然,更新词库后,“云南省红河哈尼族彝族自治州”作为一个完整的词分词了,说明更新词库已生效。

4 动态扩展词典

以 IK 分词器为例,采用修改 IK 插件源码,动态词库结合更新 Mysql 库表实现。

由于类似方案已经非常成熟,这里只给出实现思路。

4.1 步骤 1:下载 IK 插件源码

4.2 步骤 2:修改 IK 插件源码

加上 Mysql 驱动以及相关更新实现操作。

在elasticsearch安装目录config目录下,需要在jdbc-reload.properties 配置文件中配置更新热词的mysql的地址。

数据库连接要加上时间格式和ssl的声明,否则会报时间格式的错误和数据库连接缺少ssl证书的错误。

代码语言:javascript
复制
jdbc:mysql://192.168.1.15:3306/sogou_ext?useSSL=false&serverTimezone=GMT

4.3 步骤 3:将修改后源码重新打包

4.4 步骤 4:原有插件包替换为新插件包

将打包后插件更新到 Elasticsearch 插件部署位置

插件位置为:

代码语言:javascript
复制
./plugins/analysis-ik/elasticsearch-analysis-ik-7.13.0.jar

如下配置是最容易忽略和出错的地方,强调一下:

  • 将mysql驱动的jar包复制到系统java目录的jre/lib/ext文件夹中。
  • 修改/jre/lib/security/java.policy文件在grant下添加如下两行代码:
代码语言:javascript
复制
permission java.lang.RuntimePermission createClassLoader;
permission java.lang.RuntimePermission getClassLoader;

4.5 步骤 5:重启 Elasticsearch 节点,以使新插件生效

重启后,动态添加方式可以通过脚本更新 Mysql 数据库表的方式实现。Elasticsearch 会动态捕获 Mysql 的更新,以实现动态添加词库。

再次强调一下:词库只对新索引数据生效,若想对历史索引生效,需要重新导入数据或者借助 reindex 实现。

5 小结

本文以实战环节经常遇到的词库、词典更新问题出发,从新词库的三种来源方式、静态添加词库、动态添加词库三个问题展开探讨,目的是给大家一些实战参考思路。

本文仅是抛砖引玉,相信词库的获取和更新肯定还有更多、更优秀的实现方式。

欢迎大家留言交流下自己的词库更新实现方式。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-09-05,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 铭毅天下Elasticsearch 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1 认知前提
    • 1.1 分词器选型
      • 1.2 新扩充词典对历史索引数据无效
      • 2、新词库从哪里来?
        • 2.1 平时积累或算法团队提供的新词库
          • 2.2 互联网开源词库
            • 2.3 爬取特定领域词库
            • 3 静态扩展词典
              • 3.1 步骤 1:下载词库
                • 3.2 步骤 2:将.scel 转为 txt 文本格式
                  • 3.3 步骤 3:将生成的文本文件去重
                    • 3.4 步骤 4:将生成待添加词库添加到 IK 配置文件中
                      • 3.5 步骤 5:重新启动 Elasticsearch 节点
                      • 4 动态扩展词典
                        • 4.1 步骤 1:下载 IK 插件源码
                          • 4.2 步骤 2:修改 IK 插件源码
                            • 4.3 步骤 3:将修改后源码重新打包
                              • 4.4 步骤 4:原有插件包替换为新插件包
                                • 4.5 步骤 5:重启 Elasticsearch 节点,以使新插件生效
                                • 5 小结
                                相关产品与服务
                                Elasticsearch Service
                                腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
                                领券
                                问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档