windows下使用word2vec训练维基百科中文语料全攻略！（三

全文共1552个字，7张图，预计阅读时间8分钟。

训练一个聊天机器人的很重要的一步是词向量训练，无论是生成式聊天机器人还是检索式聊天机器人，都需要将文字转化为词向量，时下最火的词向量训练模型是word2vec，所以，今天小编文文带你使用维基百科训练词向量。

参数说明

上一步我们已经开始训练词向量，但是对于模型的参数并没有介绍，我们先来看一下源代码：

参数含义如下（转自http://blog.csdn.net/szlcw1/article/details/52751314）：

· sentences：可以是一个·ist，对于大语料集，建议使用BrownCorpus,Text8Corpus或·ineSentence构建。

· sg： 用于设置训练算法，默认为0，对应CBOW算法；sg=1则采用skip-gram算法。

· size：是指特征向量的维度，默认为100。大的size需要更多的训练数据,但是效果会更好. 推荐值为几十到几百。

· window：表示当前词与预测词在一个句子中的最大距离是多少

· alpha: 是学习速率

· seed：用于随机数发生器。与初始化词向量有关。

· min_count: 可以对字典做截断. 词频少于min_count次数的单词会被丢弃掉, 默认值为5

· max_vocab_size: 设置词向量构建期间的RAM限制。如果所有独立单词个数超过这个，则就消除掉其中最不频繁的一个。每一千万个单词需要大约1GB的RAM。设置成None则没有限制。

· sample: 高频词汇的随机降采样的配置阈值，默认为1e-3，范围是(0,1e-5)

· workers参数控制训练的并行数。

· hs: 如果为1则会采用hierarchica·softmax技巧。如果设置为0（defau·t），则negative sampling会被使用。

· negative: 如果>0,则会采用negativesamp·ing，用于设置多少个noise words

· cbow_mean: 如果为0，则采用上下文词向量的和，如果为1（defau·t）则采用均值。只有使用CBOW的时候才起作用。

· hashfxn： hash函数来初始化权重。默认使用python的hash函数

· iter： 迭代次数，默认为5

· trim_rule： 用于设置词汇表的整理规则，指定那些单词要留下，哪些要被删除。可以设置为None（min_count会被使用）或者一个接受()并返回RU·E_DISCARD,uti·s.RU·E_KEEP或者uti·s.RU·E_DEFAU·T的函数。

· sorted_vocab： 如果为1（defau·t），则在分配word index 的时候会先对单词基于频率降序排序。

· batch_words：每一批的传递给线程的单词的数量，默认为10000

获取词向量

经过第6步，我们已经成功训练好了模型，并保存，想要测试训练的效果，我们首先要加载模型：

如何获取某个单词的词向量呢， 很简单，使用类似字典的方式即可：

由于我们在参数中设置的是将单词表示成500维的特征向量，所以输出是一个500维的向量

如果有的单词不存在字典中，会报错

报错

所以在获取单词的词向量前，最好加一个判断：

单词相似度计算

训练好的模型还可以计算单词之间的相似度，这里的相似度我理解的并不是同义词或者近义词，而是在给定的上下文中，最可能相互替换的词语。使用如下的方法获取一个单词的相似词语：

结果输出:

如何计算两个单词的相似度呢，使用如下的方法：

结果输出：

模型还提供了一个方法，用于寻找离群词：

结果输出

我们还可以根据给定的条件推断相似词，比如下面的代码中，我们找到一个跟篮球最相关，跟计算机很不相关的第一个词：

结果输出