专栏首页arxiv.org翻译专栏LMMS重新加载:基于变压器的语义嵌入用于消除歧义和超越(CS)

LMMS重新加载:基于变压器的语义嵌入用于消除歧义和超越(CS)

基于神经方法的分布语义是自然语言处理的基石,与人类的意义表示也有着惊人的联系。最近的基于变形金刚的语言模型已经被证明能够产生可靠地传达特定意义信息的上下文词表示,仅仅作为自我监督的产物。先前的研究表明,这些上下文表示可以准确地将大量的感觉清单表示为感觉嵌入,在一定程度上,基于距离的词义消歧(WSD)任务解决方案比专门为该任务训练的模型表现得更好。然而,关于如何使用这些神经语言模型(NLM)来产生能够更好地利用每个NLM的意义表示能力的感觉嵌入,仍有很多需要理解的地方。在这项工作中,我们介绍了一种更有原则的方法,通过对14个NLM变体的探索性分析,来利用来自所有NLM层的信息。与特定任务模型相比,我们还强调了这些感觉嵌入的多功能性,并将它们应用于多个与感觉相关的任务,除了WSD,同时证明了使用我们提出的方法比以前专注于感觉嵌入的工作性能有所提高。最后,我们将讨论关于层和模型性能变化的意外发现,以及下游任务的潜在应用程序。

原文题目:LMMS Reloaded: Transformer-based Sense Embeddings for Disambiguation and Beyond

原文:Distributional semantics based on neural approaches is a cornerstone of Natural Language Processing, with surprising connections to human meaning representation as well. Recent Transformer-based Language Models have proven capable of producing contextual word representations that reliably convey sense-specific information, simply as a product of self-supervision. Prior work has shown that these contextual representations can be used to accurately represent large sense inventories as sense embeddings, to the extent that a distance-based solution to Word Sense Disambiguation (WSD) tasks outperforms models trained specifically for the task. Still, there remains much to understand on how to use these Neural Language Models (NLMs) to produce sense embeddings that can better harness each NLM's meaning representation abilities. In this work we introduce a more principled approach to leverage information from all layers of NLMs, informed by a probing analysis on 14 NLM variants. We also emphasize the versatility of these sense embeddings in contrast to task-specific models, applying them on several sense-related tasks, besides WSD, while demonstrating improved performance using our proposed approach over prior work focused on sense embeddings. Finally, we discuss unexpected findings regarding layer and model performance variations, and potential applications for downstream tasks.

原文链接:https://arxiv.org/abs/2105.12449

原文作者:Daniel Loureiro, Alípio Mário Jorge, Jose Camacho-Collados

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 学界 | 词嵌入2017年进展全面梳理:趋势和未来方向

    机器之心
  • NLP︱词向量经验总结(功能作用、高维可视化、R语言实现、大规模语料、延伸拓展)

    · 训练算法:分层softmax(对罕见字有利)vs 负采样(对常见词和低纬向量有利)

    素质
  • 技术创作101训练营第一季|中文分词技术概述

    中文分词技术是中文自然语言处理技术的基础,与以英语为代表的拉丁语系语言相比,中文由于基本文法和书写习惯上的特殊性,在中文信息处理中第一步要做的就是分词。具体来说...

    不二小段
  • 史上最强NLP知识集合:知识结构、发展历程、导师名单

    自然语言处理(NaturalLanguage Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向,旨在研究能实现人与计算机之间用自然语...

    量子位
  • 用于共享控制机器人的主动意图消歧(CS RO)

    辅助性的共享控制机器人有可能改变数百万受严重运动障碍困扰的人的生活。共享控制机器人的实用性通常依赖于其底层的自主性推断用户需求和意图的能力,而这种消除歧义的能力...

    刘持诚
  • 独家 | ​采用BERT的无监督NER(附代码)

    图1. 展示了未微调的BERT(bert-large-cased)无监督NER标记的句子样本

    数据派THU
  • [DeeplearningAI笔记]序列模型2.10词嵌入除偏

    得以求出一个 偏见趋势 --这个偏见趋势有可能是 1 维的也可能是更高维度的向量。而其余的维度则可以被认为是 无偏见趋势

    演化计算与人工智能
  • 2017年里的词嵌入:趋势和未来方向

    原文地址:http://ruder.io/word-embeddings-2017/index.html?utm_campaign=Artificial%2BI...

    Steve Wang
  • Word embeddings in 2017: Trends and future directions (2017年里的词嵌入:趋势和未来方向)

    Word embeddings in 2017: Trends and future directions 2017年里的词嵌入:趋势和未来方向 目录: 子字...

    Steve Wang

扫码关注云+社区

领取腾讯云代金券