专栏首页机器之心AAAI 2020 | 云从科技&上交大提出 DCMN+ 模型,在多项阅读理解数据集上成绩领先

AAAI 2020 | 云从科技&上交大提出 DCMN+ 模型,在多项阅读理解数据集上成绩领先

机器之心发布

机器之心编辑部

2020 年 2 月 7 日-2 月 12 日,AAAI 2020 将于美国纽约举办。不久之前,大会官方公布了今年的论文收录信息:收到 8800 篇提交论文,评审了 7737 篇,接收 1591 篇,接收率 20.6%。本文介绍了由云从科技与上海交大合作的论文《DCMN+: Dual Co-Matching Network for Multi-choice Reading Comprehension》。

链接:https://arxiv.org/pdf/1908.11511.pdf

在那些寒窗苦读的学生时代,你一定碰见过阅读理解,它需要融会贯通进行主观陈述和作答,是让无数考生头疼的题目。继智能系统在围棋、国际象棋、游戏等领域超越人类后,「阅读理解」也成为了机器的「苦恼」。

在此 AAAI 2020 论文中,云从科技和上海交大针对 RACE 多项选择题提出增强的 DCMN+模型。

据介绍,DCMN+是年初论文作者们提出的 DCMN 增强模型,针对多项选择型机器阅读理解,以大规模预训练模型(如 BERT 等)作为前端编码器,在多个多项选择型机器阅读理解任务(如卡耐基梅隆大学的 RACE)上取得了最先进的水平,另外 DCMN 也适用于其他简单分类任务。

与其他技术相比,其显著特征是双向匹配策略,其他现有模型的匹配策略都是单向的,比如在文章-问题(P-Q)建模时,现有技术只有问题(Q)在文章(P)上的映射匹配,没有文章(P)在问题(Q)上的映射匹配,而 DCMN 则集成了两个方向的匹配信息。此外,还集成了文章中句子筛选-从文章(P)中筛选出与问题相关的句子用于推理,答案选项交互-引入选项之间比较信息两种阅读策略,进一步提升了模型的性能。

以下是对此论文的技术解读。

1 任务描述

本文主要聚焦多项选择型机器阅读理解,它的形式类似于英语考试中的阅读理解(选择题),给定一篇文章,通过阅读并理解文章(Passage),针对提出的问题(Question)从选项中选择正确的答案(Answers)。其中典型的数据集是卡内基-梅隆大学发起的大型深层阅读理解任务数据集 RACE(ReAding Comprehension dataset collected from English Examinations),它来源于中学考试题目的大规模阅读理解数据集,包含了大约 28000 个文章以及近 100000 个问题。除了 RACE,我们还在 SemEval-2018 Task11, ROCStories,MCTest 以及 COIN Task1 等类似多项选择型数据集上测试了我们的模型。

一个典型的多项选择型机器阅读理解的例子

2 模型框架

本文提出的 DCMN+主要包含三个模块:1)文章中句子筛选,从文章(Passage)中筛选出与问题相关的句子用于推理;2)答案选项交互,引入选项之间比较信息;3)双向匹配策略,充分利用 Passage,Question 与 Answers 之间的交互信息,作对称双向匹配。

整体模型框架,三个模块:Sentence Selection, Option Interaction 和 Bidirectional Matching

2.1 编码器

本文直接以预训练完的语言模型作为前端编码器,例如 BERT 以及 XLNet,分别编码 Passage,Question 及 Answers。

2.2 文章句子选择(Passage Sentence Selection)

为从文章中选择出与问题最相关的句子,我们分别计算了文章中每个句子与问题-选项对的相似度,选出最为相关的 K(超参数)个句子,输入到模型的以后部分作为推理依据。具体计算句子间相似度的方式有两种:余弦距离与双线性距离。

余弦距离:逐个计算文章中句子与问题-选项对中单词间的距离,取其平均值作为相似度分数:

双线性距离:通过计算文章句子与问题选项对的双线性匹配分数,然后通过线性降维来得到最后的分数:

2.3 答案选项交互(Answer Option Interaction)

通过引入答案选项之间的比较信息,使得每个答案融入了相对于其他答案的比较信息,从而每个答案选项不在是孤立的,具体计算方式是引入每对选项之间的双线性比较信息,最后使用门控机制与原始的选项信息融合。

2.4 双向匹配策略(Bidirectional Matching)

计算 Passage-Question-Answers 三元组中所有的两两二元组的双向匹配信息,即 P-Q,P-A,Q-A。接下来以 Q-A 之间的匹配方式作为说明:问题及答案选项分别被编码为 H^q 以及 H^a,则 Q-A 间的双向匹配表示 M^qa 可以用以下方式计算:

2.5 目标函数

得到文章,问题,答案选项之间双向匹配表示

之后,我们把它们串联起来过一层全连接线性层去预测最后的答案,如果 A^k 是正确的答案选项,Loss 可以计算如下:

3 实验结果

我们在各个多项选择数据集上均取得了最先进的成绩,包括 RACE,SemEval-2018 Task11, ROCStories,MCTest 以及 COIN Task1。

在 RACE 上的结果比较,我们取得了最高的成绩

在 SemEval-2018 Task11, ROCStories,MCTest 以及 COIN Task1 的成绩,我们均取得了最高的成绩

DCMN+模型在 RACE、SemEval-2018 Task11、 ROCStories、MCTest 以及 COIN Task1 不同数据集上均取得了最高成绩。

在 RACE 上的结果比较,取得最高成绩

在 SemEval-2018 Task11, ROCStories,MCTest 以及 COIN Task1 上,也均获得最高成绩

本文为机器之心发布,转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 & 商务合作:bd@jiqizhixin.com

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-01-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 机器之心Pro上线:盯动态、找标的、做调研,AI 信息数据一站全

    人工智能技术与产业发展速度日新月异,从业者需要持续关注动态、提升自身技能,以在错综复杂的变化中,紧跟时代潮流,正确决策,抓住机遇。但由于庞杂的信息源和信息质量的...

    机器之心
  • 学界 | 南京大学周志华等提出DFOP算法:无分布一次通过学习

    选自arXiv 机器之心编译 作者:赵鹏、周志华 参与:吴攀、黄小天 在线机器学习应用中,数据总是会随时间增多,怎么开发能有效应对这种动态情况的算法是一个值得关...

    机器之心
  • 入门 | 通过 Q-learning 深入理解强化学习

    选自Medium 作者:Thomas Simonini 机器之心编译 参与:Geek AI、刘晓坤 本文将带你学习经典强化学习算法 Q-learning 的相关...

    机器之心
  • AD RMS高可用(三)部署RMS根群集服务器

    17) 选择“使用CSP密钥存储”,该模式比使用ad rms集中管理更安全,因为它的密钥以加密方式存放,不会因忘记群集密码而其他成员服务器就不能加入该rms群集...

    月缺
  • 【安全】 XSS 防御

    后面会把前端进阶的课程内容都总结一遍。有些都是很常见的知识,但是为了梳理自己的知识树,所以尽量模糊的地方都会记录

    神仙朱
  • WPF效果第一百二十七篇之时间轴

    ;改bug的冷静、编码的激情、完成后的喜悦、挖坑的激动 、填坑的兴奋;这也许就是屌丝程序员的乐趣吧;今天就到这里吧;希望自己有动力一步一步坚持下去;生命不息,代...

    WPF程序员
  • 玩转 Nodejs 命令行

    在做 cli 工具的时候,非常需要命令行相关的第三方库。一个比较稳健成熟的命令行应该考虑以下 4 种需求:

    心谭博客
  • IE又现高危漏洞 系统打全部补丁仍然无济于事

      北京时间11月4日,美国计算机应急响应小组(US-CERT)发布安全警告,在IE浏览器中存在一个严重的安全漏洞,入侵者可以利用HTML电子邮件信息或恶意网页...

    数据和云01
  • ASP.NET Core 2.0 : 八.图说管道,唐僧扫塔的故事

    FlyLolo
  • ASP.NET Core 2.0 : 八.图说管道,唐僧扫塔的故事

    FlyLolo

扫码关注云+社区

领取腾讯云代金券