2017年度最值得读的AI论文

历时九天，我们收到了近千份有效读者投票，2017 年度最值得读的 AI 论文评选也正式结束。

我们根据读者的投票情况，选出了自然语言处理和计算机视觉领域“2017 年最值得读的十大论文”。让我们一起来看看过去一整年，在 PaperWeekly 读者心中排名前十的 NLP 论文都有哪些？还有给我们留言的读者，在表达对这十篇论文的喜爱之情时都说了些什么？

此外，小编也在所有留言中选出了自己最钟意的五条，还在所有成功参与投票的读者中随机抽取了 13 位，他们都将获得 PaperWeekly 精心准备的新年礼物。

论文 Attention Is All You Need

链接 https://www.paperweekly.site/papers/224

源码 https://github.com/Kyubyong/transformer

大道至简，Google Brain 在本文中提出了一个新型的简化网络架构—Transformer，完全基于注意力机制，完全避免了循环和卷积，完全可并行。

本文可以说是 Google 继 Highway Network 等新型神经网络之后，在神经网络模块化的又一尝试。

论文 Reinforcement Learning for Relation Classification from Noisy Data

链接 https://www.paperweekly.site/papers/1260

源码 暂无

清华大学发表在 AAAI 2018 上的工作，本文将强化学习应用于关系抽取任务中，取得了不错的效果。其主要贡献是将远程监督的信号转化为强化学习中的延迟奖励，从强化学习的视角提出解决问题的思路，并克服了联合训练 instance selector 和 relation classifier 两个模块的问题。

论文 Convolutional Sequence to Sequence Learning

链接 https://www.paperweekly.site/papers/844

源码 https://github.com/facebookresearch/fairseq-py

本文提出了基于卷积神经网络（CNN）的 seq2seq 架构，和基于循环神经网络（RNN）的 seq2seq 相比，其更易于加速训练，在 GPU 上达到 9.8 倍加速，平均每个 CPU 核上也达到 17 倍加速。此外，本文工作在 WMT’14 English-German 和 WMT’14 English-French 两个数据集上，也取得相对更好的 BLUE Score。

ConvS2S 主要结构有：Position Embeddings（使编码器或解码器感知到位置变化）、Convolutional Block Structure（编码和解码上下文中的信息）、Multi-step Attention（每层解码器使用各自的注意力机制）和 Residual connections（使架构适应深度网络）。

论文 Zero-Shot Relation Extraction via Reading Comprehension

链接 https://www.paperweekly.site/papers/289

源码 https://bitbucket.org/omerlevy/bidaf_no_answer

本文提出了基于阅读理解的关系抽取方法，并且成功抽取未标注的新关系。本文的精华之处在于对阅读理解问题的转化和数据集的生成。

填空式（slot-filling）关系抽取是在给定的关系 R、实体 e 和句子 s，在 s 中找到集合 A，使得其中的元素 a 满足 R(e, a)。在阅读理解中，问题 q 可表示为 R(e, ?)，回答问题等同于填空式关系抽取在 s 中找到答案，问题转化成：把 R(e,?) 翻译成问题 q，借助阅读理解抽取实体关系。

本文提出基于关系而非实体远程监督关系的众包标注方法，在可控的开销内，为此类问题构建一个非常大的数据集。

论文 IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models

链接 https://www.paperweekly.site/papers/200

源码 https://github.com/geek-ai/irgan

本文是生成对抗网络（GAN）在信息检索（IR）中的应用。信息检索中的两种常见模式：预测给出的文档相关性；给出文档对，判别他们之间的相关性。

本文转换问题角度，得到基于对抗网络的信息检索模型（IRGAN），主要由判别模型（挖掘标注与非标注的数据中的信息，用于引导生成模型拟合给定查询的结果在文档中的分布情况）和生成模型（根据查询生成高相关性的结果）组成。

本文从三个角度使用 GAN 对信息检索建模，即：pointwise（学习人类对文档的相关性判断），pairwise（找出最具有相关性的文档对），listwise（相关性排序）。

本文的模型架构可以应用于：网页搜索在线排序（sf: LambdaRank, LambdaMART, RankNet）、item 推荐系统（cf matrix factorisation）、问答系统（退化成 IR 的评估）。