自然语言处理的前沿论文，看我们精选的5篇就够了！

关注文章公众号 回复"自然语言处理"获取本主题精选论文

理解自然语言文本并回答相关问题是自然语言处理的核心任务之一。本期SFFAI14将走进微软亚洲研究院，MSRA的2位同学将分别分享他们发表在AAAI19的最新工作，聊天机器人的研究进展和方法优缺点，以及一种新颖的阅读+验证系统。

由SFFAI14分享嘉宾吴俣同学和胡明昊同学精选出来的5篇论文。您可以先仔细阅读，并带着问题来现场交流呦。

1

推荐理由：文章主要提出了一种模型（SMN），用检索的方式处理多轮对话系统

多轮对话，类似于Q,A,Q,A,Q...QF: --> A 这种，有上下文，然后给出最后那个问题（QF）的对应回答（response）

现存的解决方案通常是将上下文整个处理成一个上下文向量，但是这样忽略了上下文中的很多信息。

SMN将上下文中的每一句话(utterance)都同候选的response提取重要信息，处理成vector，然后将这些上下文的vector被累积起来从而获得他们之间的关系，最后用这个计算得分。

来自：CSDN

2

推荐理由：文章考虑将对话的解码过程中所使用的大规模静态词表转化为一个根据输入生成的动态小规模词表，并推导出了可以通过蒙特卡罗抽样方法联合优化词汇结构和响应生成的学习方法。实验证明这种方式在对话质量提高的基础上，还获得了解码效率的提升。下一步可能考虑将其推广到多轮对话领域。

来自：{知乎-学习ML的皮皮虾-知乎专栏}

3

推荐理由：提出一种聊天机器人回复的新范式，全面提升已有模型性能。

4

推荐理由：本文是我们发表在IJCAI-18上的工作。在本文中，我们针对机器阅读理解任务，提出了强化助记阅读器。该模型针对先前的基于注意力的模型进行了两点改进。第一，我们提出一个重注意机制，该机制通过直接访问历史注意力来精炼当前注意力，历史注意力被临时存储在一个多轮对齐结构中，以此来避免注意力冗余和注意力缺乏的问题。第二，一个叫做动态-评估的强化学习方法被提出以扩展标准的有监督方法。该方法总是鼓励预测一个更被接受的答案来解决传统强化学习算法中的收敛抑制问题。在SQuAD1.1和两个对抗数据集上的实验显示了我们的模型取得了顶尖的结果。

5

推荐理由：本文是我们发表在EMNLP-18上的工作。在本文中，我们针对当前阅读理解集成模型效率低下，鲁棒性差的问题，提出了注意力-指导的答案蒸馏方法，来将集成模型的知识迁移至单模型。我们首先发现标准知识蒸馏技术可以被应用于阅读理解的答案预测中，并且能带来显著的性能提升。我们然后提出两种新颖的蒸馏方法，来惩罚模型对于迷惑答案的预测，并且使用对齐信息作为额外的监督信号。在SQuAD1.1数据集上的实验显示我们的学生模型相比于集成的教师模型只有0.4% F1的性能损失，同时保持了12倍的加速。另外，学生模型甚至在对抗SQuAD和NarrativeQA数据集上超过了教师模型的性能。