2017年度最值得读的AI论文

历时九天,我们收到了近千份有效读者投票,2017 年度最值得读的 AI 论文评选也正式结束。

我们根据读者的投票情况,选出了自然语言处理和计算机视觉领域“2017 年最值得读的十大论文”。让我们一起来看看过去一整年,在 PaperWeekly 读者心中排名前十的 NLP 论文都有哪些?还有给我们留言的读者,在表达对这十篇论文的喜爱之情时都说了些什么?

此外,小编也在所有留言中选出了自己最钟意的五条,还在所有成功参与投票的读者中随机抽取了 13 位,他们都将获得 PaperWeekly 精心准备的新年礼物。

论文 Attention Is All You Need

链接 https://www.paperweekly.site/papers/224

源码 https://github.com/Kyubyong/transformer

大道至简,Google Brain 在本文中提出了一个新型的简化网络架构—Transformer,完全基于注意力机制,完全避免了循环和卷积,完全可并行。

本文可以说是 Google 继 Highway Network 等新型神经网络之后,在神经网络模块化的又一尝试。

论文 Reinforcement Learning for Relation Classification from Noisy Data

链接 https://www.paperweekly.site/papers/1260

源码 暂无

清华大学发表在 AAAI 2018 上的工作,本文将强化学习应用于关系抽取任务中,取得了不错的效果。其主要贡献是将远程监督的信号转化为强化学习中的延迟奖励,从强化学习的视角提出解决问题的思路,并克服了联合训练 instance selector 和 relation classifier 两个模块的问题。

论文 Convolutional Sequence to Sequence Learning

链接 https://www.paperweekly.site/papers/844

源码 https://github.com/facebookresearch/fairseq-py

本文提出了基于卷积神经网络(CNN)的 seq2seq 架构,和基于循环神经网络(RNN)的 seq2seq 相比,其更易于加速训练,在 GPU 上达到 9.8 倍加速,平均每个 CPU 核上也达到 17 倍加速。此外,本文工作在 WMT’14 English-German 和 WMT’14 English-French 两个数据集上,也取得相对更好的 BLUE Score。

ConvS2S 主要结构有:Position Embeddings(使编码器或解码器感知到位置变化)、Convolutional Block Structure(编码和解码上下文中的信息)、Multi-step Attention(每层解码器使用各自的注意力机制)和 Residual connections(使架构适应深度网络)。

论文 Zero-Shot Relation Extraction via Reading Comprehension

链接 https://www.paperweekly.site/papers/289

源码 https://bitbucket.org/omerlevy/bidaf_no_answer

本文提出了基于阅读理解的关系抽取方法,并且成功抽取未标注的新关系。本文的精华之处在于对阅读理解问题的转化和数据集的生成。

填空式(slot-filling)关系抽取是在给定的关系 R、实体 e 和句子 s,在 s 中找到集合 A,使得其中的元素 a 满足 R(e, a)。在阅读理解中,问题 q 可表示为 R(e, ?),回答问题等同于填空式关系抽取在 s 中找到答案,问题转化成:把 R(e,?) 翻译成问题 q,借助阅读理解抽取实体关系。

本文提出基于关系而非实体远程监督关系的众包标注方法,在可控的开销内,为此类问题构建一个非常大的数据集。

论文 IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models

链接 https://www.paperweekly.site/papers/200

源码 https://github.com/geek-ai/irgan

本文是生成对抗网络(GAN)在信息检索(IR)中的应用。信息检索中的两种常见模式:预测给出的文档相关性;给出文档对,判别他们之间的相关性。

本文转换问题角度,得到基于对抗网络的信息检索模型(IRGAN),主要由判别模型(挖掘标注与非标注的数据中的信息,用于引导生成模型拟合给定查询的结果在文档中的分布情况)和生成模型(根据查询生成高相关性的结果)组成。

本文从三个角度使用 GAN 对信息检索建模,即:pointwise(学习人类对文档的相关性判断),pairwise(找出最具有相关性的文档对),listwise(相关性排序)。

本文的模型架构可以应用于:网页搜索在线排序(sf: LambdaRank, LambdaMART, RankNet)、item 推荐系统(cf matrix factorisation)、问答系统(退化成 IR 的评估)。

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20180130G137FI00?refer=cp_1026

扫码关注云+社区