(含源码)「自然语言处理(NLP)」Question Answering(QA)论文整理(四)

喜欢我们，点击上方AINLPer，关注一下，极品干货即刻送达！

周末快乐，除了工作，不要忘了抽时间出来走走~~

引言

本次整理的论文还是主要偏向于Open-Domain QA，其中主要涉及到结合文本与知识库的GRAFT-Net模型、基本词汇的检索-阅读者模型、改进的DS-QA模型、结合了教育语义的动态概念网络模型、知识增强的图神经网络(KGNN)等。（四篇含源码）

微信下载论文不方便，你可以直接回复：QA004 进行打包下载。

最后，帮作者点个在看吧，谢谢~~

正文开始

1

First Blood

1、TILE: Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text Author: Haitian Sun , Bhuwan Dhingra , Manzil Zaheer , Kathryn Mazaitis , Ruslan Salakhutdinov , William W. Cohen

Paper: https://arxiv.org/pdf/1809.00782v1.pdf

Code: https://github.com/OceanskySun/GraftNet

论文简述： 开放域问答(QA)正从复杂的流水线系统向端到端的深度神经网络发展。当前已经提出的专业神经模型，用于单独从文本或知识库(KBs)中提取答案。在本文中，讨论了对知识库和实体链接文本的组合进行QA，当不完整的知识库与大型文本库一起使用时，这种方法也是可行的。为此本文提出了一种新的模型——GRAFT-Net，用于从包含文本和知识库实体及关系的特定于问题的子图中提取答案。本文为这个问题构造了一套基准测试任务，改变问题的难度、训练数据的数量和知识库的完整性。

2、TILE: Learning to Attend On Essential Terms: An Enhanced Retriever-Reader Model for Open-domain Question Answering

Author: Jianmo Ni , Chenguang Zhu , Weizhu Chen , Julian McAuley

Paper: https://arxiv.org/pdf/1808.09492v5.pdf

Code: https://github.com/siqims/ARC-Challenge

论文简述： 开放领域的问题回答仍然是一项具有挑战性的任务，因为它需要能够理解问题和答案、收集有用信息以及对证据进行推理的模型。本文提出了一个在答疑过程中学习基本词汇的检索-阅读者模型。建立(1)一个基本的术语选择器，它首先识别一个问题中最重要的词，然后重新制定查询和搜索相关的证据;(2)一个增强的Reader，能够区分基本的术语和分散注意力的词语来预测答案。

3、TILE: Denoising Distantly Supervised Open-Domain Question Answering

Author: Yankai Lin , Haozhe Ji , Zhiyuan Liu , Maosong Sun

Paper: https://www.aclweb.org/anthology/P18-1161.pdf

Code: https://github.com/thunlp/OpenQA

论文简述： 远距离监督开放问题回答(DS-QA)旨在从未标记的文本集合中寻找答案。现有的DS-QA模型通常从大型语料库中检索相关段落，并应用阅读理解技术从最相关的段落中提取答案。但是忽略了其它段落中包含的丰富信息。此外，远距离监督数据不可避免地会伴随错误的标注问题，这些噪声数据会严重降低DS-QA的性能。为了解决这些问题，本文提出了一个新颖的DS-QA模型，该模型使用一个段落选择器过滤掉那些嘈杂的段落，并使用一个段落阅读器从那些去噪的段落中提取正确的答案。

4、TILE: A Question-Focused Multi-Factor Attention Network for Question Answering

Author: Souvik Kundu , Hwee Tou Ng

Paper: https://arxiv.org/pdf/1801.08290v1.pdf

Code: https://github.com/nusnlp/amanda

论文简述： 本文提出了一种新颖的端到端以问题为中心的多因素注意力网络，用于答案提取。使用基于张量的变换进行多因素注意编码聚合有意义的事实。为了隐式地推断答案类型，本文还提出了一种最大注意力问题聚合机制，基于问题中的重要单词对问题向量进行编码。在预测过程中，我们将第一个wh-word及其紧接其后的单词序列级编码作为附加的问题类型信息来源。本文提出的模型在三个大型QA数据集(即NewsQA、TriviaQA和SearchQA)上取得了显著的改进。

5、TILE: EDUQA: Educational Domain Question Answering System using Conceptual Network Mapping

Author: Abhishek Agarwal , Nikhil Sachdeva , Raj Kamal Yadav , Vishaal Udandarao , Vrinda Mittal , Anubha Gupta , Abhinav Mathur

Paper: https://arxiv.org/pdf/1911.05013v1.pdf

Code: None

论文简述： 现有的大多数问答模型可以大致分为两类：i）回答通用问题并使用大规模知识库和目标Web语料库检索的开放域问答模型，以及ii）解决重点问题领域并使用复杂的深度学习模型。以上两种模型都是通过文本理解方法得出答案的。由于它们无法捕捉文本内容的教学意义，因此这些模型不适用于教育学的教育领域。在本文中，我们提出了一种结合了教育语义的动态概念网络模型。该模型通过在概念网络上应用智能索引算法来保留概念实体之间的相关性，从而改善答案的产生。该模型可用于构建交互式对话代理以帮助课堂学习。

6、TILE: Knowledge Guided Text Retrieval and Reading for Open Domain Question Answering

Author: Sewon Min , Danqi Chen , Luke Zettlemoyer , Hannaneh Hajishirzi

Paper: https://arxiv.org/pdf/1911.03868v1.pdf

Code: None

论文简述： 本文提出了一种开放域问答(QA)的通用方法，该方法使用知识库中的结构信息来建模段落之间的交互。本文首先描述如何从一个大型语料库中构建一个段落图，其中的关系要么来自知识库，要么来自Wikipedia的内部结构。然后，引入了一个阅读理解模型，该模型将该图作为输入，以更好地建立段落对之间的关系。

7、TILE: How to Pre-Train Your Model? Comparison of Different Pre-Training Models for Biomedical Question Answering

Author: Sanjay Kamath , Brigitte Grau , Yue Ma

Paper: https://arxiv.org/pdf/1911.00712v1.pdf

Code: None

论文简述： 在小规模数据集上使用深度学习模型会导致过度拟合。为了克服这一问题，在图像处理等领域广泛地使用了对模型进行预处理并将其微调到小数据集的过程。类似地，在回答问题时，可以通过几种方式进行预培训和微调。一般的阅读理解模型都是用于训练前的，但我们发现其他类型的训练效果更好。我们比较了两种基于阅读理解和开放领域问题回答模型的训练前模型，并确定了在BIOASQ问题回答数据集上进行微调和测试时的性能。我们发现开放领域的问题回答模型比阅读理解模型更适合这项任务。。

8、TILE: Multi-Paragraph Reasoning with Knowledge-enhanced Graph Neural Network

Author: Deming Ye , Yankai Lin , Zhenghao Liu , Zhiyuan Liu , Maosong Sun

Paper: https://arxiv.org/pdf/1911.02170v1.pdf

论文简述： 多段推理对于开放域问答（OpenQA）来说是必不可少的，但是它在当前的OpenQA系统中受到的关注较少。在这项工作中，我们提出了一个知识增强的图神经网络(KGNN)，它可以对具有实体的多个段落进行推理。为了显式捕获实体之间的关联，KGNN利用知识图中的关系事实来构建实体图。实验结果表明，相比于HotpotQA数据集的基准线方法，KGNN在干扰项和完整Wiki设置上均优于基线。而且我们的进一步分析表明，KGNN在检索到的段落较多的情况下是有效且强大的。。