专栏首页自然语言处理(NLP)论文速递(含源码)「自然语言处理(NLP)」Question Answering(QA)论文整理(四)

(含源码)「自然语言处理(NLP)」Question Answering(QA)论文整理(四)

喜欢我们,点击上方AINLPer,关注一下,极品干货即刻送达!


周末快乐,除了工作,不要忘了抽时间出来走走~~

引言

本次整理的论文还是主要偏向于Open-Domain QA,其中主要涉及到结合文本与知识库的GRAFT-Net模型基本词汇的检索-阅读者模型改进的DS-QA模型结合了教育语义的动态概念网络模型知识增强的图神经网络(KGNN)等。(四篇含源码)

微信下载论文不方便,你可以直接回复:QA004 进行打包下载。

最后,帮作者点个在看吧,谢谢~~

正文开始

1

First Blood

1、TILE: Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text Author: Haitian Sun , Bhuwan Dhingra , Manzil Zaheer , Kathryn Mazaitis , Ruslan Salakhutdinov , William W. Cohen

Paper: https://arxiv.org/pdf/1809.00782v1.pdf

Code: https://github.com/OceanskySun/GraftNet

论文简述: 开放域问答(QA)正从复杂的流水线系统向端到端的深度神经网络发展。当前已经提出的专业神经模型,用于单独从文本或知识库(KBs)中提取答案。在本文中,讨论了对知识库和实体链接文本的组合进行QA,当不完整的知识库与大型文本库一起使用时,这种方法也是可行的。为此本文提出了一种新的模型——GRAFT-Net,用于从包含文本和知识库实体及关系的特定于问题的子图中提取答案。本文为这个问题构造了一套基准测试任务,改变问题的难度、训练数据的数量和知识库的完整性。

2、TILE: Learning to Attend On Essential Terms: An Enhanced Retriever-Reader Model for Open-domain Question Answering

Author: Jianmo Ni , Chenguang Zhu , Weizhu Chen , Julian McAuley

Paper: https://arxiv.org/pdf/1808.09492v5.pdf

Code: https://github.com/siqims/ARC-Challenge

论文简述: 开放领域的问题回答仍然是一项具有挑战性的任务,因为它需要能够理解问题和答案、收集有用信息以及对证据进行推理的模型。本文提出了一个在答疑过程中学习基本词汇的检索-阅读者模型。建立(1)一个基本的术语选择器,它首先识别一个问题中最重要的词,然后重新制定查询和搜索相关的证据;(2)一个增强的Reader,能够区分基本的术语和分散注意力的词语来预测答案。

3、TILE: Denoising Distantly Supervised Open-Domain Question Answering

Author: Yankai Lin , Haozhe Ji , Zhiyuan Liu , Maosong Sun

Paper: https://www.aclweb.org/anthology/P18-1161.pdf

Code: https://github.com/thunlp/OpenQA

论文简述: 远距离监督开放问题回答(DS-QA)旨在从未标记的文本集合中寻找答案。现有的DS-QA模型通常从大型语料库中检索相关段落,并应用阅读理解技术从最相关的段落中提取答案。但是忽略了其它段落中包含的丰富信息。此外,远距离监督数据不可避免地会伴随错误的标注问题,这些噪声数据会严重降低DS-QA的性能。为了解决这些问题,本文提出了一个新颖的DS-QA模型,该模型使用一个段落选择器过滤掉那些嘈杂的段落,并使用一个段落阅读器从那些去噪的段落中提取正确的答案。

4、TILE: A Question-Focused Multi-Factor Attention Network for Question Answering

Author: Souvik Kundu , Hwee Tou Ng

Paper: https://arxiv.org/pdf/1801.08290v1.pdf

Code: https://github.com/nusnlp/amanda

论文简述: 本文提出了一种新颖的端到端以问题为中心的多因素注意力网络,用于答案提取。使用基于张量的变换进行多因素注意编码聚合有意义的事实。为了隐式地推断答案类型,本文还提出了一种最大注意力问题聚合机制,基于问题中的重要单词对问题向量进行编码。在预测过程中,我们将第一个wh-word及其紧接其后的单词序列级编码作为附加的问题类型信息来源。本文提出的模型在三个大型QA数据集(即NewsQA、TriviaQA和SearchQA)上取得了显著的改进。

5、TILE: EDUQA: Educational Domain Question Answering System using Conceptual Network Mapping

Author: Abhishek Agarwal , Nikhil Sachdeva , Raj Kamal Yadav , Vishaal Udandarao , Vrinda Mittal , Anubha Gupta , Abhinav Mathur

Paper: https://arxiv.org/pdf/1911.05013v1.pdf

Code: None

论文简述: 现有的大多数问答模型可以大致分为两类:i)回答通用问题并使用大规模知识库和目标Web语料库检索的开放域问答模型,以及ii)解决重点问题领域并使用复杂的深度学习模型。以上两种模型都是通过文本理解方法得出答案的。由于它们无法捕捉文本内容的教学意义,因此这些模型不适用于教育学的教育领域。在本文中,我们提出了一种结合了教育语义的动态概念网络模型。该模型通过在概念网络上应用智能索引算法来保留概念实体之间的相关性,从而改善答案的产生。该模型可用于构建交互式对话代理以帮助课堂学习。

6、TILE: Knowledge Guided Text Retrieval and Reading for Open Domain Question Answering

Author: Sewon Min , Danqi Chen , Luke Zettlemoyer , Hannaneh Hajishirzi

Paper: https://arxiv.org/pdf/1911.03868v1.pdf

Code: None

论文简述: 本文提出了一种开放域问答(QA)的通用方法,该方法使用知识库中的结构信息来建模段落之间的交互。本文首先描述如何从一个大型语料库中构建一个段落图,其中的关系要么来自知识库,要么来自Wikipedia的内部结构。然后,引入了一个阅读理解模型,该模型将该图作为输入,以更好地建立段落对之间的关系。

7、TILE: How to Pre-Train Your Model? Comparison of Different Pre-Training Models for Biomedical Question Answering

Author: Sanjay Kamath , Brigitte Grau , Yue Ma

Paper: https://arxiv.org/pdf/1911.00712v1.pdf

Code: None

论文简述: 在小规模数据集上使用深度学习模型会导致过度拟合。为了克服这一问题,在图像处理等领域广泛地使用了对模型进行预处理并将其微调到小数据集的过程。类似地,在回答问题时,可以通过几种方式进行预培训和微调。一般的阅读理解模型都是用于训练前的,但我们发现其他类型的训练效果更好。我们比较了两种基于阅读理解和开放领域问题回答模型的训练前模型,并确定了在BIOASQ问题回答数据集上进行微调和测试时的性能。我们发现开放领域的问题回答模型比阅读理解模型更适合这项任务。。

8、TILE: Multi-Paragraph Reasoning with Knowledge-enhanced Graph Neural Network

Author: Deming Ye , Yankai Lin , Zhenghao Liu , Zhiyuan Liu , Maosong Sun

Paper: https://arxiv.org/pdf/1911.02170v1.pdf

论文简述: 多段推理对于开放域问答(OpenQA)来说是必不可少的,但是它在当前的OpenQA系统中受到的关注较少。在这项工作中,我们提出了一个知识增强的图神经网络(KGNN),它可以对具有实体的多个段落进行推理。为了显式捕获实体之间的关联,KGNN利用知识图中的关系事实来构建实体图。实验结果表明,相比于HotpotQA数据集的基准线方法,KGNN在干扰项和完整Wiki设置上均优于基线。而且我们的进一步分析表明,KGNN在检索到的段落较多的情况下是有效且强大的。。

本文分享自微信公众号 - AINLPer(gh_895a8687a10f),作者:ShuYini

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-03-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • (含源码)「自然语言处理(NLP)」Question Answering(QA)论文整理(三)

    本次整理的论文同样主要偏向于Open-Domain QA,其中主要涉及到阿拉伯语的问答(这个可以尝试转变成中文的,因为这个是有源码的)、开放问答系统搭建、开放...

    ShuYini
  • (含源码)「自然语言处理(QA)」基于常识的对话生成&&多任务学习(MTL)&&多实例学习&&结构化语义表示

    1、TILE: Improving Knowledge-aware Dialogue Generation via Knowledge Base Questio...

    ShuYini
  • (含源码)「自然语言处理(NLP)」Question Answering(QA)论文整理(七)

    本次文章主要介绍了ERNIE-GEN(语言生成任务)、统一预训练语言模型(UniLM)、问答系统数据集(CoQA)、端到端神经生成问答(GENQA)、生成式问答...

    ShuYini
  • 17篇论文,详解图的机器学习趋势 | NeurIPS 2019

    本文来自德国Fraunhofer协会IAIS研究所的研究科学家Michael Galkin,他的研究课题主要是把知识图结合到对话AI中。

    AI科技评论
  • QQ大数据发布2018全国城市年轻指数

    腾讯QQ大数据
  • Clock Skew , Clock Uncertainty和 Period

    Intel 4790K的主频是4.0GHz,高通801的单核频率可达2.5GHz,A8处理器在1.2GHz,MSP430可以工作在几十MHz……这里的频...

    sea-wind
  • 还在嫌弃猪队友?新研究加速人机协作学习,靠谱队友你值得拥有 | 一周AI最火论文

    呜啦啦啦啦啦啦啦大家好,拖更的AI Scholar Weekly栏目又和大家见面啦!

    大数据文摘
  • Nature Climate Change | 现在的极端气候将成为北极“新常态”

    北极是对于气候变化最为敏感的地区,也是全球增暖最显著的地区。近几十年来,北极地区的大气、海洋、海冰以及陆地都发生了很大的变化,特别是近十年来,北极海冰迅速减少,...

    气象学家
  • python的pyc和pyo文件

    python并非完全是解释性语言,它是有编译的,先把源码py文件编译成pyc或者pyo,然后由python的虚拟机执行,相对于py文件来说,编译成pyc和pyo...

    py3study
  • 重磅!!!一文总结Pytorch的8张思维导图!

    【磐创AI导读】本文以思维导图的形式,为大家介绍了深度学习的核心内容,主要包括:深度学习与Pytorch简介、词向量、用pytorch处理常见的NLP和CV任务...

    磐创AI

扫码关注云+社区

领取腾讯云代金券