Word2Vec - CBOW和Skip-克
Word2Vec - CBOW和Skip-克
提问于 2017-06-12 19:07:57
我想知道Word2Vec是如何构建的。
我读过一些教程，简单地说，我们可以训练一个跳过克神经网络模型，并使用训练成单词向量的权重。
然而，我也看到了这张照片：
如果正确读取此图表：
1) CBOW模型和Skip图模型都有一定的输入。
2)将CBOW的输出作为中间神经网络的输入。
3)将跳过图的输出作为中间神经网络的输出。
CBOW的输出是对给定上下文的中心词的预测，跳跃图的输出是对周围中心词的预测。
然后利用这些输出来训练另一组神经网络。
因此，我们首先训练CBOW，然后再训练中间神经网络？而对中间神经网络的输入是一种热点编码。
以上解释正确吗？
回答 3
Data Science用户
回答已采纳
发布于 2018-03-18 23:21:09
在word2vec中，只有一个神经网络可以训练。CBOW、连续字包法和跳图法是构造神经网络训练数据的两种不同方法.你必须从这两种训练方法中选择一种。
Data Science用户
发布于 2021-06-16 16:16:43
CBOW和Skipgram是可供选择的模型，唯一的区别是损失函数。
如果你愿意的话，可以把它称为神经网络，但这两个模型实际上都是一个非常简单的损失函数，包含两个可训练参数矩阵(每个矩阵每个字有一个向量)。一旦经过训练，一个矩阵通常会被删除，而另一个矩阵会给出“单词嵌入”。
当然没有多个神经网络。图的顶部是文本的预处理。
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/19654
复制相关文章
相似问题
腾讯云开发者
