问用RNN学习词嵌入

EN

是的，有可能训练一个基于RNN的体系结构，比如GRU或LSTM，从一个大语料库中随机的句子来学习单词嵌入。

在训练神经网络时，可以学习语料库词的嵌入词，如情感分类。在提交给RNN之前，首先对每个单词进行编码，使其由唯一的整数表示，例如使用标记器。我们添加了一个填充标记，使所有的句子具有相同的长度。

这样做被称为在LSTM/RNN/GRU网络模型的前面构建一个嵌入层。对于嵌入层，您需要指定：

1. 序列的最大长度
2. 每个令牌的嵌入大小。

缺点是，使用这种技术，培训将花费更多的时间，因为你不仅要训练你的预测模型，而且你的词嵌入。这是因为与模型相比，可训练参数的总量将更大，在模型中，我们使用预先训练过的具有冻结参数的字嵌入。

最后，根据您的数据集大小，使用在一些较大的语料库上训练的预先训练的嵌入将导致更好的嵌入，而不是在您的较小的数据集中训练您自己的单词嵌入。

下面是使用这两种方法的一个实验：https://towardsdatascience.com/machine-learning-word-embedding-sentiment-classification-using-keras-b83c28087456