关于单词嵌入的概念,Skip方法的目标是计算给定邻域的单词的概率。我不理解其背后的理由,因为它是可以通过直接查看共生矩阵来推断这一信息。
总的来说,我无法理解那些旨在从原始共现矩阵中获取尽可能多的相关信息的方法。直接处理共生矩阵不是更容易吗?
先谢谢你。
发布于 2017-08-30 14:19:15
基本上,跳过图的目标是计算给定一个单词的上下文的概率(相反的是CBOW )。但是,它并不是简单地学习共现矩阵,它将信息压缩到一个低维空间中(例如,对于100000的初始维数是300 )。通过这样做,它学习了单词的连续低维表示。
证明,word2vec实际上分解了一个词上下文点信息矩阵(接近共生矩阵)。我认为这篇文章可能会让您更好地理解底层流程。
https://datascience.stackexchange.com/questions/22703
复制相似问题