首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >word2vec中的特征矩阵是什么?

word2vec中的特征矩阵是什么?
EN

Data Science用户
提问于 2017-06-21 07:00:51
回答 2查看 5.7K关注 0票数 12

我是神经网络的初学者,目前我正在探索word2vec模型。然而,我很难理解特征矩阵到底是什么。

我可以理解,第一个矩阵是一个给定单词的一个热编码向量,但是第二个矩阵意味着什么?更具体地说,这些价值观中的每一个(即。17,24,1等)指?

EN

回答 2

Data Science用户

发布于 2017-06-21 09:56:47

word2vec的思想是用维数d的实数向量表示单词,因此第二个矩阵是这些词的表示。

这个矩阵的第一行是第一字的向量表示.

假设在您的示例中有5个单词:“狮子”、“猫”、“狗”、“马”、“老鼠”,那么第一个向量0 0 0 1意味着您正在考虑单词"Horse“,所以"Horse”的表示形式是10、12、19。同样,17、24、1是“狮子”这个词的代表。

就我所知,没有“人的意义”,特别是在这些表示中的每一个数字。如果这个词是动词或非动词,形容词或非形容词,那么一个数字并不代表.它只是你改变的权重来解决你的优化问题,来学习你的单词的表达方式。

本教程可能会有所帮助:http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/,尽管我认为您所放的图像来自此链接。

您也可以检查这一点,这可能有助于您开始使用TensorFlow:https://www.tensorflow.org/tutorials/word2vec的单词向量。

票数 9
EN

Data Science用户

发布于 2017-06-27 17:52:31

TL;DR:

第一个矩阵以一种热格式表示输入向量。

第二个矩阵表示从输入层神经元到隐层神经元的突触权重。

更长版本

“特征矩阵到底是什么”

看来你还没有正确理解表示法。该矩阵不是特征矩阵,而是神经网络的权值矩阵。考虑下面给出的图像。特别注意左上角,其中输入层矩阵与权重矩阵相乘。

现在看看右上角。这种矩阵乘法,InputLayer点乘积权转置,只是一种方便的方式来表示神经网络在右上角。

因此,为了回答您的问题,您所提交的方程只是用于Word2Vec算法的神经网络的数学表示。

第一部分,0 0 1 0将输入字表示为一个热向量,另一个矩阵表示每个输入层神经元与隐层神经元连接的权重。

在Word2Vec训练的过程中,它逆向这些权重,并改变它们,以便更好地将单词表示为向量。

一旦训练完成,你只使用这个权重矩阵,取0 0 1 0 0作为“狗”,并将它与改进的权重矩阵相乘,得到“狗”在维数=隐层神经元中的向量表示。

在您所提供的图表中,隐藏层神经元的数目为3。

所以右手边基本上是单词向量。

影像学分:http://www.datasciencecentral.com/profiles/blogs/matrix-multiplication-in-neural-networks

票数 6
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/19869

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档