问如何创建单词向量

EN

到目前为止，词向量或所谓的分布式表示已经有了很长的历史，可能是从S.Bengio ( Bengio，Y.，Ducharme，R.，& Vincent，P. (2001).A神经概率语言模型)的工作开始的。NIPS。)在那里他获得了词向量作为训练神经网络语言模型的副产品。

大量研究表明，这些向量确实捕获了单词之间的语义关系(例如，参见http://research.microsoft.com/pubs/206777/338_Paper.pdf)。此外，Collobert等人的这篇重要论文(http://arxiv.org/abs/1103.0398)是理解词向量及其获取和使用方式的一个很好的起点。

除了word2vec之外，还有很多方法可以获得它们。示例包括Collobert et al (http://ronan.collobert.com/senna/)的塞纳嵌入，T.Mikolov的可以使用RNNToolkit (http://www.fit.vutbr.cz/~imikolov/rnnlm/)计算的RNN嵌入等等。对于英文，可以从这些网站下载现成的嵌入。word2vec实际上使用的是跳过语法模型(而不是神经网络模型)。另一个用于计算单词表示的快速代码是GloVe (http://www-nlp.stanford.edu/projects/glove/)。无论深度神经网络对于获得良好的嵌入是否至关重要，这都是一个悬而未决的问题。

根据您的应用程序，您可能更喜欢使用不同类型的单词向量，因此尝试几种流行的算法并看看哪种算法更适合您是一个好主意。