专栏首页arxiv.org翻译专栏解构单词嵌入算法(CS AI)
原创

解构单词嵌入算法(CS AI)

单词嵌入是单词的可靠特征表示,用于为各种自然语言处理应用获得高质量的结果。如今,非结构化单词嵌入被用于许多自然语言处理任务,尤其是在资源有限的环境中,无法获得高内存容量和GPU。鉴于词嵌入在自然语言处理中的历史成功,我们建议对一些最著名的词嵌入算法进行回顾。在这项工作中,我们将Word2vec、GloV e等解构为一个通用的形式,揭示了一些制作高性能单词嵌入所需的通用条件。我们相信,本文的理论发现可以为未来模型的更明智开发提供基础。

原文题目:Deconstructing word embedding algorithms

原文:Word embeddings are reliable feature representations of words used to obtain high quality results for various NLP applications. Uncontextualized word embeddings are used in many NLP tasks today, especially in resourcelimited settings where high memory capacity and GPUs are not available. Given the historical success of word embeddings in NLP, we propose a retrospective on some of the most well-known word embedding algorithms. In this work, we deconstruct Word2vec, GloVe, and others, into a common form, unveiling some of the common conditions that seem to be required for making performant word embeddings. We believe that the theoretical findings in this paper can provide a basis for more informed development of future models.

原文作者:Kian Kenyon-Dean,Edward Newell, Jackie Chi Kit Cheung

原文地址:https://arxiv.org/abs/2011.07013

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 保守性降低的非线性模型的线性变参数嵌入(CS SC)

    本文提出了一种将非线性系统的动力学描述嵌入到线性参数变化(LPV)系统表示中的系统方法。最初,模型表示中的非线性函数使用多元多项式回归来近似。考虑到近似的残差作...

    识檐
  • 质量4.0 -行业4.0时代的透明产品质量监管(CS AI)

    渐进的数字化正在改变许多工业部门的游戏。关注产品质量这个所谓的行业4.0的主要盈利驱动力将是整个供应链上的横向信息集成。因此,欧洲RFCS项目“质量4.0”旨在...

    识檐
  • 图的多智能体分散信念传播(CS AI)

    我们考虑交互式部分可观测马尔可夫决策过程问题,其中代理位于通信网络的节点。具体来说,我们假设所有消息都有特定的消息类型。此外,每个代理根据交互的信念状态、在本地...

    识檐
  • 在不破坏加密的情况下检测WhatsApp的错误信息(CS CY)

    诸如WhatsApp之类的智能手机通信App的普及,正在彻底改变很多用户与Internet通信和交互。直接发送到用户手机的信息的即时性和通过端到端加密进行的安全...

    小童
  • 结合专家的因果判断(cs.AI)

    考虑一个决策者,他想要决定采取哪种干预措施,以改变目前不受欢迎的情况。决策者有一个专家小组,每个专家团队都了解促成结果的不同因素之间的因果关系。决策者对专家的意...

    Donuts_choco
  • 个人信息的控制顺序和感知控制(CS HC)

    以个人信息披露为重点,我们运用控制理论和控制顺序的概念来研究人们对信息披露的含义以及他们同意披露的倾向的理解。我们分析了相关文献,并进行了初步的在线研究(N =...

    小童
  • Part Ninja, Part Carpenter: The Qualities of Today’s RPG Programmers

    A few years back, some tech bloggers bemoaned the lack of experienced RPG progra...

    saurabhkumawat
  • 2017年里的词嵌入:趋势和未来方向

    原文地址:http://ruder.io/word-embeddings-2017/index.html?utm_campaign=Artificial%2BI...

    Steve Wang
  • Word embeddings in 2017: Trends and future directions (2017年里的词嵌入:趋势和未来方向)

    Word embeddings in 2017: Trends and future directions 2017年里的词嵌入:趋势和未来方向 目录: 子字...

    Steve Wang
  • Modeling, Control and Human-In-The-Loop Stability Analysis of an Elastic Quadrot

    Modeling, Control and Human-In-The-Loop Stability Analysis of an Elastic Quadrot...

    用户8078797

扫码关注云+社区

领取腾讯云代金券