(部分含源码)「自然语言处理(NLP)」Word Embedding/Representation论文整理(一)

引言

下面是作者整理的关于Word Embedding/Representation系列相关papers，下面这8篇文章都是在顶会ICLR发表的文章，能找到源码的作者也直接贴出来了，如果你对Word Embedding/Representation感兴趣或者也在找一些相关的文章，希望能够帮助你~~

微信下载论文不方便，你可以直接回复：WER001进行打包下载。

最后，帮作者点个在看吧，谢谢~~

正文开始

1

First Blood

1、TILE: Understanding Composition of Word Embeddings via Tensor Decomposition

Author: Abraham Frandsen, Rong Ge

Paper:https://openreview.net/pdf?id=H1eqjiCctX

Code: None

论文简述：词嵌入是自然语言处理的有力工具。在本文中，我们考虑字嵌入复合的问题——给定两个字的向量表示，计算整个短语的向量。我们提出了一种生成模型，它可以捕获特定的句法关系。

2、TILE: word2ket: Space-efficient Word Embeddings inspired by Quantum Entanglement

Author: Aliakbar Panahi, Seyran Saeedi, Tom Arodz

Paper:https://openreview.net/pdf?id=HkxARkrFwB

Code: https://github.com/panaali/word2ket

论文简述：我们利用量子计算启发的方法，提出了两种相关的方法，word2ket和word2ketXS，在训练和推理过程中高效地存储单词嵌入矩阵。

3、TILE: A Mutual Information Maximization Perspective of Language Representation Learning

Author: Lingpeng Kong, Cyprien de Masson d'Autume, Lei Yu, Wang Ling, Zihang Dai, Dani Yogatama

Paper:https://openreview.net/pdf?id=Syx79eBKwr

Code: None

论文简述： 本文给出最先进的单词表示学习方法，最大限度地实现了一个目标函数。即通过借鉴计算机视觉中已经成功使用的基于互信息最大化相关方法，给出了一个例子，并引入了一个简单的自监督目标，最大限度地实现了句子全局表示和n-grams表示之间的互信息。

4、TILE: Learning to Represent Edits

Author: Pengcheng Yin, Graham Neubig, Miltiadis Allamanis, Marc Brockschmidt, Alexander L. Gaunt

Paper: https://openreview.net/pdf?id=BJl6AjC5F7

Code: None

论文简述： 本文介绍了编辑的分布式表示学习问题。通过将“神经编辑器”与“编辑编码器”相结合，我们的模型学会了表示编辑的主要信息，并可将编辑表示应用于新的输入。

5、TILE: Adaptive Input Representations for Neural Language Modeling

Author: Alexei Baevski, Michael Auli

Paper:https://openreview.net/pdf?id=ByxZX20qFQ

Code: None

论文简述： 本文将自适应输入表示引入到神经语言建模中，将Grave等人(2017)的adaptive softmax扩展到可变容量的输入表示中。

6、TILE: Representing Formal Languages: A Comparison Between Finite Automata and Recurrent Neural Networks

Author: Joshua J. Michalenko, Ameesh Shah, Abhinav Verma, Richard G. Baraniuk, Swarat Chaudhuri, Ankit B. Patel

Paper:https://openreview.net/pdf?id=H1zeHnA9KX

Code: None

论文简述： 本文研究了递归神经网络在学习规则形式语言时的内部表示。具体来说，我们从一种普通语言的正反例子训练一个RNN，并询问是否有一个简单的解码函数，将这个RNN的状态映射到该语言的最小确定性有限自动机(MDFA)的状态。

7、TILE: Unsupervised Hyper-alignment for Multilingual Word Embeddings

Author: Jean Alaux, Edouard Grave, Marco Cuturi, Armand Joulin

Paper:https://openreview.net/pdf?id=HJe62s09tX

Code: None

论文简述： 本文考虑将用多种语言学习的连续单词表示对齐到一个公共空间的问题，并将这一工作扩展到将多种语言对齐到公共空间的问题。解决方案是将所有语言独立映射到一个主语言，但是这降低了间接翻译的质量，为此提出了一个新的公式，以确保可组合映射，产生更好的对齐结果。

8、TILE: textTOvec: DEEP CONTEXTUALIZED NEURAL AUTOREGRESSIVE TOPIC MODELS OF LANGUAGE WITH DISTRIBUTED COMPOSITIONAL PRIOR

Author: Pankaj Gupta, Yatin Chaudhary, Florian Buettner, Hinrich Schuetze

Paper: https://openreview.net/pdf?id=rkgoyn09KQ

Code: None

论文简述： 为了更好地估计单词在给定上下文中的概率，本文解决了概率模型的两个主要问题，即(1)上下文中没有语言结构:概率主题模型忽略词序，将给定的上下文概括为“袋形词”，从而丢失上下文中单词的语义。在这项工作中，我们将一个神经自回归主题模型(TM)与一个基于LSTM的语言模型(LSTM- lm)结合在一个单一的概率框架中，从而整合语言结构。(2)有限的上下文和较小的文档训练语料库:在单词出现次数较少的情况下。我们通过一种语言建模方法将外部知识整合到神经自回归主题模型中，从而解决了这一问题。