理解词嵌入的迁移学习
我无法想象预先训练过的单词嵌入的迁移学习在NLP任务(比如命名实体识别)中是如何有用的。我正在学习Andrew NG的序列模型课程，他似乎说，如果目标任务的训练集非常少，那么转移单词嵌入的学习将有助于在应用程序中处理训练集中的未知单词。
让我们考虑命名实体识别的任务，
我的问题是，为目标任务设置的很小的训练内容是什么？它们是带有实体标记的单词嵌入还是句子？
他是否认为，如果训练集只是在预先训练过的模型中有嵌入词的标记句，那么训练集中不存在但更接近训练集的单词也会在应用程序中被有效捕获？
考虑一下‘橘子’正在训练中。但是，“苹果”并不是。
所以，在“我喜欢橘子汁”和“我喜欢苹果汁”这两个句子中，苹果被认为是水果，尽管它不是在训练中，因为它离橘子更近。
我的假设正确吗？或者有人能纠正并向我解释如果我不是？
回答 1
Data Science用户
发布于 2020-07-27 18:36:06
因此，命名实体识别是一种机制，在这种机制中，您要求您的网络学习如何检测给定的单词向量作为输入的实体。
词嵌入的理论方面是，基于句子的构造，Orange和Apple的嵌入词是非常相似的，即它们的余弦角很小。
在命名实体识别中，您使用这些单词嵌入并将它们输入到您正在训练的数据的网络中，其中每个单词都有标记，即实体或普通单词。因此，您的网络实际上正在理解单词嵌入的关系，以及如何标记它们。这让我们难以相信，即使苹果不在训练集中，它也被检测到了，因为嵌入词通常是在包含苹果、橙色和其他标记的大量数据上训练出来的，所以嵌入词对我们帮助很大。这是迁移学习有帮助的地方，因为您使用的词嵌入是以一种非监督的方式训练的，然后用于学习实体。
希望这能帮上忙。如果需要的话，我可以详细说明。
https://datascience.stackexchange.com/questions/78371
复制相似问题
腾讯云开发者
