DrQA基于维基百科数据的开放域问答机器人实战教程

作者 | fendouai

编辑 | 磐石

【磐创AI导读】:本文主要向大家推荐一个开放域问答机器人的实战项目。欢迎大家点击上方蓝字关注我们的公众号:磐创AI。

DrQA 是一个基于维基百科数据的开放域问答系统,它由检索器和阅读器组成。其中检索器用于从海量的文本(例如维基百科)中获得相关的文章;阅读器用于从文章中获得相应的答案。

一 . 官方介绍

DrQA是一个应用于开放域问答的阅读理解系统。特别是,DrQA的目标是“大规模机读”(MRS)。在这个设定中,我们在可能非常大的非结构化文档集中搜索问题的答案。因此,系统必须将文档检索(查找相关文档)的挑战与机器对文本的理解(从这些文档中识别答案)的挑战相结合。

我们使用DrQA的实验侧重于回答factoid问题,同时使用Wikipedia作为文档的独特知识源。维基百科是一个非常适合大规模,丰富,详细信息的来源。为了回答任何问题,必须首先在超过500万个文章中检索可能相关的文章,然后仔细扫描它们以确定答案。

请注意:

DrQA将Wikipedia视为一个通用的文章集合,并不依赖于其内部知识结构。因此,DrQA可以直接应用于任何文档集合。

数据集:维基百科

框架:PyTorch

版本:PyTorch torch-0.3.0

论文:Reading Wikipedia to Answer Open-Domain Questions

项目:https://github.com/facebookresearch/DrQA

系统架构:

二. 实战

交互模式下提问(一):

where is stanford university

可以看到检索到的文档是 Stanford University,问题的答案是:浅绿色标注的部分,答案非常的精准。

交互模式下提问(二):

where is Barack Hussein Obama from

回答不是很精准,我其实想问的是奥巴马来自哪里。答案返回的是奥巴马在哪里,奥巴马在华盛顿,不过也还是相当不错。

交互模式下提问(三):

who is Donald Trump

这个问题并没有找到准确的答案,虽然文档是相关的。

原文发布于微信公众号 - 磐创AI(xunixs)

原文发表时间:2018-07-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏玉树芝兰

如何高效入门Github?

如今的编程,早已不是单打独斗的模式了。优秀的编程人员,甚至是初学者,都必须学会如何与他人高效协作。Github是编程协作中须要掌握的基础知识。如何尽快入门,少走...

9620
来自专栏小怪聊职场

用户画像(三)|通过用户对不同文章的不同行为(浏览、点赞、评论、分享)提取用户标签

1.1K90
来自专栏目标检测和深度学习

终于!大家心心念念的PyTorch Windows官方支持来了

这一次更新从 0.3.1 到 0.4.0 有着非常多的改进,最重要的就是官方支持 Windows 系统。在没有官方支持前,Windows 上安装 PyTorch...

13130
来自专栏美团技术团队

智能投放系统之场景分析最佳实践

背景 美团点评作为最大的生活服务互联网平台,需要针对数亿用户进行各种运营活动,而其线上存在超过千万的POI,覆盖超过2000城市、2.5万个后台商圈。在海量数据...

415120
来自专栏web前端教室

看太多简单易懂的教程,对你没有好处

太难的教程看不懂,那只能看一些简单的了。简单的教程,它也是教程啊,那为什么看了许多简单的教程,却依然没什么进步? 其实原因很简单,因为简单的教程之所以简单,是因...

20150
来自专栏腾讯移动品质中心TMQ的专栏

快给你的用例做减法吧

? 01 ? 热身:数一数你的用例数 随着互联网时代节奏的日益加快,许多产品都会在版本迭代中对功能做加法,于是累计的测试用例似乎都无可避免地越来越多。从小编自...

19120
来自专栏范传康的专栏

基于云计算的 CV 移动交互应用研究(1):CV交互+云计算

Google Translate App 以word Lens即时相机翻译黑科技与 基于云计算架构的“统计机器翻译”的强大服务后台,引爆大众关注。“CV交互+移...

678110
来自专栏腾讯移动品质中心TMQ的专栏

浅谈ACC建模测试

1、黔驴技穷 随着测试新鲜血液的引入,如何在测试领域站稳脚跟,成为一名老司机是很多测试人头疼的问题,之前听过一门课程讲过测试人员发展的心路历程(图...

37770
来自专栏CDA数据分析师

学习路径:一文让你成为Tableau专家

原文链接:https://www.analyticsvidhya.com/learning-paths-data-science-business-analyt...

64470
来自专栏杨建荣的学习笔记

元数据流程管理思考

在运维开发中,经常会有类似的需求,这里的数据变化了,另外一个地方也应该发生变化,应该实现级联,看起来是很简单的需求,但是什么时候触发,触发时需要做哪些检查,这些...

16630

扫码关注云+社区

领取腾讯云代金券