专栏首页自然语言处理(NLP)论文速递(含源码)「自然语言处理(NLP)」Question Answering(QA)论文整理(三)

(含源码)「自然语言处理(NLP)」Question Answering(QA)论文整理(三)

喜欢我们,点击上方AINLPer,关注一下,极品干货即刻送达!


还在学习/工作的你,注意身体,早点休息,晚安~~

引言

本次整理的论文同样主要偏向于Open-Domain QA,其中主要涉及到阿拉伯语的问答(这个可以尝试转变成中文的,因为这个是有源码的)开放问答系统搭建开放问答效率提升基于web表的开放问答方法开放问答模型泛化能力研究等,最后还有一篇是关于RC(Reading Comprehension)的paper,个人觉得不错所以也放到这里面了。(四篇含源码)

微信下载论文不方便,你可以直接回复:QA003 进行打包下载。

最后,帮作者点个在看吧,谢谢~~

正文开始

1

First Blood

1、TILE: Neural Arabic Question Answering

Author: Hussein Mozannar , Karl El Hajal , Elie Maamary , Hazem Hajj

Paper: https://arxiv.org/pdf/1906.05394v1.pdf

Code: https://github.com/husseinmozannar/SOQAL

论文简述: 为了解决缺乏阿拉伯语问答数据集的问题,提出了阿拉伯语阅读理解数据集(ARCD),该数据集由维基百科文章中的1395个问题组成,以及斯坦福问答数据集(Arabic SQuAD)的机器翻译。阿拉伯语开放域问答系统(SOQAL)由两部分组成:(1)使用分层TF-IDF方法的文档检索器;(2)使用预先训练的双向变换器BERT的神经阅读理解模型。

2、TILE: Multi-step Retriever-Reader Interaction for Scalable Open-domain Question Answering

Author: Rajarshi Das , Shehzaad Dhuliawala , Manzil Zaheer , Andrew McCallum

Paper: https://arxiv.org/pdf/1905.05733v1.pdf

Code: https://github.com/rajarshd/Multi-Step-Reasoning

论文简述: 本文提出了一种开放域问答的新框架,实现了检索者和阅读者之间的迭代交互。该框架只要求访问阅读器的Token级隐藏表示。检索器使用快速近邻搜索来扩展到包含数百万段落的语料库。门控循环单元根据阅读器的状态在每一步更新查询,重新构造的查询用于检索器对段落重新排序。最后,展示了本文多步推理框架在各种大型开放域数据集(triviaq -unfiltered、QuasarT、SearchQA和SQuAD-Open)上应用于两种广泛使用的阅读器体系结构(DrQA和BiDAF)时,带来了较好的结果。

3、TILE: Densely Connected Attention Propagation for Reading Comprehension

Author: Yi Tay , Luu Anh Tuan , Siu Cheung Hui , Jian Su

Paper: https://arxiv.org/pdf/1811.04210v2.pdf

Code: https://github.com/vanzytay/NIPS2018_DECAPROP

论文简述: 本文提出了一种新的紧密连接的阅读理解神经结构DecaProp (Connected Attention Propagation)。该模型有两个明显的特点。首先,本模型密集地连接了网络的所有成对层,在所有层次上建立了通道和查询之间的关系。然后,该网络中的密集连接器是通过注意力来学习的,提出了一种新型的双向注意连接器(BAC),用于在整个网络中有效地建立连接。

4、TILE: Ranking Paragraphs for Improving Answer Recall in Open-Domain Question Answering

Author: Jinhyuk Lee , Seongjun Yun , Hyunjae Kim , Miyoung Ko , Jaewoo Kang

Paper: https://arxiv.org/pdf/1810.00494v1.pdf

Code: https://github.com/yongqyu/ranking_paragraphs_pytorch

论文简述: 由于开放域QA需要从文本语料库中检索相关文档来回答问题,其性能在很大程度上取决于文档检索器的性能。然而,由于传统的信息检索系统不能有效地获取包含答案的高概率文档,从而降低了QA系统的性能。为此本文引入段落Ranker,它对检索到的文档段落进行排序,以获得较高的答案召回率和较少的噪声。实验发现使用段落Ranker对段落进行排序并聚合答案,在四个开放域QA数据集上的得到了比较好的结果。

5、TILE: Break It Down: A Question Understanding Benchmark

Author: Tomer Wolfson , Mor Geva , Ankit Gupta , Matt Gardner , Yoav Goldberg , Daniel Deutch , Jonathan Berant

Paper: https://arxiv.org/pdf/2001.11770v1.pdf

Code: None

论文简述: 理解自然语言问题需要将问题分解为计算答案所需的步骤。在本文中,本文介绍了一个问题分解意义表示(QDMR)。QDMR由一系列步骤组成,这些步骤通过自然语言表达,是回答问题所必需的。我们开发了一个众包管道,表明QDMR可以大规模注释,并发布了Break数据集,该数据集包含超过83K对问题。

6、TILE: Open Domain Question Answering Using Web Tables

Author: Kaushik Chakrabarti , Zhimin Chen , Siamak Shakeri , Guihong Cao

Paper: https://arxiv.org/pdf/2001.03272v1.pdf

Code: None

论文简述: 在本文中,使用web表开发了一种开放域QA方法,这种方法既适用于factoid查询,也适用于非factoid查询。本文主要思想是将基于深度神经网络的查询和表之间的语义相似性与量化文档中表的优势以及表中信息质量特性结合起来。

7、TILE: Contextualized Sparse Representation with Rectified N-Gram Attention for Open-Domain Question Answering

Author: Anonymous

Paper: https://openreview.net/pdf?id=ryxgegBKwr

Code: None

论文简述: 本文提出了一种有效的方法来学习一个高度上下文化的单词级的稀疏表示,利用校正的自我注意力加权邻近的n-gram。为了提高记忆效率,本文在训练过程中对内积空间进行核化,而不需要显式地映射大型稀疏向量。通过在SQuADopen和CuratedTrec中以高达97倍的速度进行推理,不仅显著提高了短语检索的准确性(超过4%),而且优于所有其他(基于流水线的)开放域QA方法,从而证明了所学习稀疏表示的有效性。

8、TILE: What Does My QA Model Know? Devising Controlled Probes using Expert Knowledge

Author: Kyle Richardson , Ashish Sabharwal

Paper: https://arxiv.org/pdf/1912.13337v1.pdf

Code: None

论文简述: 开放域问答(QA)涉及到一些潜在的知识和推理挑战,但模型在接受基准任务培训时是否真正学习了这些知识?为了研究这一点,本文引入了几个新的挑战任务,来探索最新的QA模型是否具有关于单词定义和一般分类推理的繁泛化知识,这两个方面对于更复杂的推理形式来说都是基本的,并且在基准数据集中很普遍。

本文分享自微信公众号 - AINLPer(gh_895a8687a10f),作者:ShuYini

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-03-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • (含源码)「自然语言处理(NLP)」Question Answering(QA)论文整理(六)

    本次整理的论文还是主要偏向于机器阅读理解的问答(MRC-QA),其中主要涉及到双向注意流(BIDAF)网络、Gated Attention模型、AS Read...

    ShuYini
  • (含源码)「自然语言处理(NLP)」Question Answering(QA)论文整理(四)

    本次整理的论文还是主要偏向于Open-Domain QA,其中主要涉及到结合文本与知识库的GRAFT-Net模型、基本词汇的检索-阅读者模型、改进的DS-QA...

    ShuYini
  • (含源码)「自然语言处理(NLP)」RoBERTa&&XLNet&&语言模型&&问答系统训练

    本次内容主要包括:鲁棒优化Bert模型(RoBERTa)、自回归预训练模型(XLNet)、无监督多任务学习语言模型、生成预训练语言理解、深层上下文单词表示、键...

    ShuYini
  • (12)打鸡儿教你Vue.js

    使用 $on(eventName)监听事件 使用 $emit(eventName) 触发事件

    达达前端
  • 第9期:DeepRL每日论文快报

    Learning Representations in Reinforcement Learning:An Information Bottleneck App...

    深度强化学习实验室
  • 前端基础-Vue.js简介

    通过前面的介绍,我们对目前的项目工程化有了大体了了解,那么其中,在第二阶段的工程化演进中,有一个重要的工程设计理念诞生,他就是著名的 MVC 设计模式,简单点,...

    cwl_java
  • Web前端-Vue.js必备框架(一)

    什么是Vue.js?是目前最火的框架,React是最流行的框架,打包工具Webpack,目前三大主流Vue.js,Angular.js,React.js框架。

    达达前端
  • (含源码)「自然语言处理(NLP)」RoBERTa&&XLNet&&语言模型&&问答系统训练

    本次内容主要包括:鲁棒优化Bert模型(RoBERTa)、自回归预训练模型(XLNet)、无监督多任务学习语言模型、生成预训练语言理解、深层上下文单词表示、键...

    ShuYini
  • 干货|PyTorch实用代码段集锦

    Facebook公司开源的深度学习框架PyTorch越来越火,PyTorch易于上手。本文节选github中PyTorch的常用实用代码片段,供大...

    fishexpert
  • kafka使用时的一些总结

    1.在kafka最新版kafka_2.12-1.0.0的config文件夹server.properties中可以看到num.partitions=1,这个代表...

    天涯泪小武

扫码关注云+社区

领取腾讯云代金券