问基于预训练word2vec向量的上下文词嵌入

EN

如果您已经能够在word2vec之外执行语义消歧，那么您可以更改单词-记号以反映您的外部判断。例如，将令牌'jaguar'的某些外观更改为'jaguar*car'，将其他外观更改为'jaguar*animal'。继续进行正常的word2vec训练，然后将得到两个不同的标记，两个不同的字向量。

如果你希望培训能发现这些问题，就像~Erwan在一篇评论中提到的那样，这似乎是一个开放式的研究问题，没有一个标准的或现成的解决方案，初学者可以顺便加入。

我曾经看过一篇论文(大约在原始word2vec论文的时候，但现在找不到链接)，它试图通过传统的多义-遗忘式的训练，以一种与Word2vec兼容的方式来做到这一点。然后，对于一个单词X的每一个外观，通过一定数量的位置内的邻居的单词向量的组合来建模它周围的上下文。(这本身非常类似于在word2vec的CBOW模式下编写上下文向量。)在所有的上下文集合上进行一些聚类，想出一些其他感官的概念--每个感官都与一个集群相关联。然后，在原始语料库的后续传递中，将word-记号替换为那些也反映其附近上下文集群的标记。(例如：'jaguar'可以替换为'jaguar*1'、'jaguar*2'等，在此基础上，它的上下文建议使用离散的集群。)然后，重复(或继续) word2vec训练，以获得特定意义的单词向量.当然，问题就在于上下文是如何定义的，聚类是如何推导的，以及棘手的边缘案例(文本的作者本身也在运用多重意义)。

为了在word2vec模型中建模或推导多义词，还有一些有趣的工作：

• “词义的线性代数结构”
• 学习多义词嵌入的简单方法

但在上面，我还没有看到这些技术以一种很容易进入另一个项目的形式被广泛实现/采用。