Synonyms：一个开源的中文近义词工具包

机器之心整理

参与：蒋思源

近日，Hai Liang Wang 和胡小夕在 GitHub 开放了一个中文近义词工具包 Synonyms，它可用于如文本对齐、推荐算法、相似度计算、语义偏移、关键字提取、概念提取、自动摘要、搜索引擎等很多 NLP 任务。该工具包目前能搜索近义词和比较语句相似度等任务，且词汇量达到了 125,792。机器之心也尝试使用 Synonyms 搜索一段中文的近义词，并有非常不错的反馈。

项目地址：https://github.com/huyingxi/Synonyms

该中文近义词工具包采用的基本技术是 Word2vec，因此在介绍该工具的同时我们会简要介绍词嵌入方法。此外，Synonyms 的安装十分便捷，我们可以直接使用命令 pip install -U synonyms 完成。该工具包兼容 Python 2 和 Python 3，且目前的稳定版为 v2.0，以下是使用 Synonyms 工具的效果：

如果我们想把单词输入机器学习模型，除非使用基于树的方法，否则需要把单词转换成一些数值向量。一种直接的方法是使用「one-hot encoding」方法将单词转换为稀疏表示，如下所示向量中只有一个元素设置为 1，其余为 0。

这种方法的缺点在于一个词的向量长度等于词汇表的大小，且非常稀疏。不仅如此，这种方法剥离了单词的所有局部语境，我们不能通过向量表示这个词的概念。因此，我们需要使用更高效的方法表示文本数据，而这种方法可以保存单词的上下文的信息。这是 Word2Vec 方法的初衷。

一般来说，Word2Vec 方法由两部分组成。首先是将高维 one-hot 形式表示的单词映射成低维向量。例如将 10，000 列的矩阵转换为 300 列的矩阵，这一过程被称为词嵌入。第二个目标是在保留单词上下文的同时，从一定程度上保留其意义。Word2Vec 实现这两个目标的方法有 skip-gram 和 CBOW 等，skip-gram 会输入一个词，然后尝试估计其它词出现在该词附近的概率。还有一种与此相反的被称为连续词袋模型（Continuous Bag Of Words，CBOW），它将一些上下文词语作为输入，并通过评估概率找出最适合（概率最大）该上下文的词。

对于连续词袋模型而言，Mikolov 等人运用目标词前面和后面的 n 个词来同时预测这个词。他们称这个模型为连续的词袋（CBOW），因为它用连续空间来表示词，而且这些词的先后顺序并不重要。

连续的词袋（Mikolov 等人，2013 年）

CBOW 可以看作一个具有先知的语言模型，而 skip-gram 模型则完全改变将语言模型的目标：它不像 CBOW 一样从周围的词预测中间的词；恰恰相反，它用中心语去预测周围的词：

Skip-gram（Mikolov 等人，2013）

在加载 Synonyms 中，我们可以看到会打印出「loaded (125796, 100) matrix from...」，因此 Synonyms 采用的词向量维度为 100。

用法

输出近义词向量：

synonyms.nearby(WORD) 会返回一个包含两项的列表：

[[nearby_words], [nearby_words_score]]，nearby_words 是 WORD 的近义词向量，也以列表的方式存储，并且按照距离的长度由近及远排列，nearby_words_score 是 nearby_words 中对应词的距离分数，分数在 (0-1) 区间内，越接近于 1，代表越相近。比如:

在出现集外词的情况下，返回 [[], []]，目前的字典大小: 125,792。

机器之心尝试将一整段关于 Word2vec 的中文分割为一个个单词，再使用 Synonyms 工具对分词的结果取近义词，以下是试验结果：

两个句子的相似度比较：

其中，参数 seg 表示 synonyms.compare 是否对 sen1 和 sen2 进行分词，默认为 True。返回值：[0-1]，并且越接近于 1 代表两个句子越相似。

句子相似度准确率

在 SentenceSim 上进行测试：

SentenceSim 地址：https://github.com/fssqawj/SentenceSim/blob/master/dev.txt

评测结果：

关于距离计算和阀值选取，参考 Synonyms/issues/6。

以友好的方式打印近义词，方便调试，display 调用了 synonyms#nearby 方法：

最后，Synonyms 项目的作者胡小夕是北京邮电大学研究生，目前实习于今日头条 AI LAB。从事自然语言处理方向研究，在智能客服，知识图谱等领域都有相关研究开发经验。研发模型在文体分类权威数据集 TREC 上达到目前最优精度，申请深度学习与自然语言处理结合的国家发明专利 5 项。

@online, title = , year = 2017, url = , urldate = }

本文为机器之心整理，转载请联系本公众号获得授权。

✄------------------------------------------------