机器是如何做阅读理解的?

机器阅读理解

斯坦福有个很重要的比赛,就是让机器完成阅读理解题目,即给定一篇文章,让机器理解文章含义进行题目回复。每年这一比赛都是国际性的,引来了业界、学术界的广泛关注。其中微软、谷歌、腾讯、阿里等大型互联网公司每年都有参与。本文将从技术的角度,深入浅出、以口语性质的方式给大家传递机器进行阅读理解的过程。

SQuAD比赛简介

SQuAD全称是"Stanford Question Answering Dataset",是用于机器阅读理解的一款数据集,也是斯坦福大学主办的机器阅读理解比赛。目前该数据集,有500+篇文章,总共有100000+组QA对数据。参赛队伍的目标是,理解文章、得到问题的回复结果。答案正确与否的主要评价指标有两个:EM值和F1值,直观理解为EM值表示答案与正确答案是否完全匹配,F1值表示答案之间的重合度。18年最新的比赛排行如下:

目前科大讯飞的哈工大联合实验室排名第一,谷歌大脑并联,阿里巴巴和微软名次紧跟其后。

特定模型说明

本文将要介绍的是排名第三的国防科大与复旦大学的模型。论文在17年发表[1]。该文章大致将机器做阅读理解的过程分为三个步骤:第一:就是机器通读一遍全文,即对article进行序列编码;第二:就是机器带着问题再读文章,也就是机器带着Question的编码,再从头对article进行阅读,即Question与article进行交互;第三:就是机器找寻答案,通过带着问题读文章以后,紧接着就是在文章中找寻能够回答问题的答案了。模型结构如下:

  1. encoder 编码,也就是将文本信息转换为机器能够理解的信息。目前对article编码的主要模型是Bi-LSTM模型,即获取文章的序列信息。选取的特征一般为 word-embedding和character-level embedding进行拼接,再添加一下额外的特征,例如词性、实体等。分别对文章和问题进行编码。
  2. Interaction Interaction就是交互的意思,也就是带着问题去读文章。可以看到图中模型的交互方式,是计算问题与文章各个词语和各个子序列之间的相关性矩阵,并通过该矩阵求Attention获取不同词层面的问题表达。再使用SFU模块将问题信息与篇章信息进行混合。图中有一个self-align模块,是因为篇章信息太长了,需要弄清楚篇章前后之间的关系。然后反复迭代Iterative过程就是让 机器反复去读文章。
  3. Pointer 读完文章后最关键的还是去寻找答案。Pointer Network的作用就是去文章寻找答案的过程。该模型引入了Memory,可以理解为让模型记忆一下你找到问题答案的起始位置,然后再去寻找问题答案的结束位置,Memory就是记忆位置,便于计算已知起始位置寻找结束位置的条件概率。

目前用于机器阅读理解的深度学习框架很是单一,一般就是不断的Attention,再加上不断的迭代,去寻找答案。目前这种基于数据的阅读理解很受限制,感觉还是要跳出深度学习框架,才能真正地去做好理解。认知智能是一个很漫长的过程,还有待进一步的发展。

参考文献

[1]Hu M, Peng Y, Qiu X. Reinforced Mnemonic Reader for Machine Comprehension[J]. 2017.

原文发布于微信公众号 - CodeInHand(CodeInHand)

原文发表时间:2018-04-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

MIT教你创造让人“雌雄难辨”的图灵机器,秘密全在这篇论文里

GAIR 今年夏天,雷锋网将在深圳举办一场盛况空前的“全球人工智能与机器人创新大会”(简称GAIR)。大会现场,谷歌,DeepMind,Uber,微软等巨头的人...

31460
来自专栏携程技术中心

干货 | 大规模知识图谱的构建、推理及应用

作者简介 李健,携程度假研发部研发总监,2013年底加入携程,在数据挖掘分析、人工智能方面有一定的实践与积累。 随着大数据的应用越来越广泛,人工智能也终于在几番...

1.1K110
来自专栏算法channel

机器学习:说说贝叶斯分类

1 进入例子 假如我是一个质检员,现在接到了三箱零件需要检验,其中第一箱有10个零件,第二箱有20个零件,第三箱有15个。半小时过去了,检验的结果出炉,第一箱有...

34770
来自专栏量子位

三角兽首席科学家分享实录:基于对抗学习的生成式对话模型

主讲人:三角兽首席科学家 王宝勋 颜萌 整理编辑 量子位 出品 | 公众号 QbitAI 对抗学习和对话系统都是近年来的新热点。今年7月,三角兽研究组与哈工大I...

38860
来自专栏数据科学与人工智能

tensorflow高质量资料汇总

tensorflow高质量资料,让您又快又好地学习和应用tensorflow。 本文汇总tensorflow的高质量资料,包括:文档、论文、书籍、课程和案例。 ...

36550
来自专栏智能算法

鸟群的启发--粒子群算法

看文章之前先看一个相关小视频(55s, 2.86M): ? 1. PSO的基本思想: “自然界的蚁群、鸟群、鱼群、羊群、牛群、蜂群等,其实时时刻刻都在给予我们...

41780
来自专栏ATYUN订阅号

微软的AI技术可将你描述的内容绘制成图像 小白也能画出蒙娜丽莎

谷歌可能教会了人工智能如何涂鸦,但对计算机来说,绘制更复杂的东西是很困难的。想象一下,让电脑画一只“黑翅膀和短喙的黄鸟”;这听起来有点棘手。不过,微软的研究人员...

38390
来自专栏华章科技

大规模知识图谱的构建、推理及应用

随着大数据的应用越来越广泛,人工智能也终于在几番沉浮后再次焕发出了活力。除了理论基础层面的发展以外,本轮发展最为瞩目的是大数据基础设施、存储和计算能力增长所带来...

13620
来自专栏人工智能头条

大规模知识图谱的构建、推理及应用

16420
来自专栏量化投资与机器学习

【机器学习课程】深度学习与神经网络系列之绪论介绍

神经网络与深度学习 让机器具备智能是人们长期追求的目标,但是关于智能的定义也十分模糊。Alan Turing在 1950年提出了著名的图灵测试:“一个人在不接触...

23190

扫码关注云+社区

领取腾讯云代金券