专栏首页arxiv.org翻译专栏阅读理解中的常识证据生成与注入(CS AI)
原创

阅读理解中的常识证据生成与注入(CS AI)

人类的阅读理解不仅基于特定的语境本身,而且往往依赖于超出语境的常识。为了使机器具有常识推理能力,本文提出了一个阅读理解中的常识证据生成与注入框架CEGI。该框架将两种辅助常识性证据注入到综合阅读中,使机器具备理性思考的能力。具体来说,我们构建了两个证据生成器:第一个生成器旨在通过语言模型生成文本证据;另一个生成器旨在在图完成后从常识知识图中提取事实证据(自动对齐的文本三元组)。这些证据包含了上下文常识,并作为模型的附加输入。然后,我们提出了一个深度上下文编码器来提取段落、问题、选项和证据之间的语义关系。最后,我们使用一个胶囊网络从关系中提取不同的语言单元(单词和短语),并基于所提取的单元动态预测最优选择。在CosmosQA数据集上的实验表明,所提出的CEGI模型优于当前的最新方法,在排行榜上达到了83.6%的准确率。

原文题目:Commonsense Evidence Generation and Injection in Reading Comprehension

原文:Human tackle reading comprehension not only based on the given context itself but often rely on the commonsense beyond. To empower the machine with commonsense reasoning, in this paper, we propose a Commonsense Evidence Generation and Injection framework in reading comprehension, named CEGI. The framework injects two kinds of auxiliary commonsense evidence into comprehensive reading to equip the machine with the ability of rational thinking. Specifically, we build two evidence generators: the first generator aims to generate textual evidence via a language model; the other generator aims to extract factual evidence (automatically aligned text-triples) from a commonsense knowledge graph after graph completion. Those evidences incorporate contextual commonsense and serve as the additional inputs to the model. Thereafter, we propose a deep contextual encoder to extract semantic relationships among the paragraph, question, option, and evidence. Finally, we employ a capsule network to extract different linguistic units (word and phrase) from the relations, and dynamically predict the optimal option based on the extracted units. Experiments on the CosmosQA dataset demonstrate that the proposed CEGI model outperforms the current state-of-the-art approaches and achieves the accuracy (83.6%) on the leaderboard.

原文作者:Ye Liu

原文地址:https://arxiv.org/abs/2005.05240

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【吴恩达Quora最新问答】任何人都能成为机器学习专家

    【新智元导读】吴恩达刚刚在Quora做了一次最新session,重点回答了如何学习机器学习/深度学习,以及如何从事机器学习方向工作的问题。吴恩达认为,复现他人发...

    新智元
  • 指南 | 写给正在填报志愿并对CS/AI感兴趣的2019考生们

    本文是在计算机专业日益火爆的当下,解答考生和家长们普遍好奇的问题,帮助考生更加理性地选择专业,希望更多真正喜欢CS/AI的考生选好学校选对专业。

    数据派THU
  • 深度学习 vs 概率图模型 vs 逻辑学

    用户1737318
  • 写给想要填报CS/AI志愿的考生们

    国内CS/AI方向又有很多新的变化,最明显的是各大高校纷纷设立人工智能学院,开始招收人工智能专业本科生。最近又要开始新的一轮填报志愿,我又来蹭个热点,花了些时间...

    昱良
  • 数学转CS,看斯坦福NLP博士、Manning高徒Abigail See怎么学AI

    答:我在英国剑桥长大,很小的时候就对数学感兴趣。我喜欢做奥数题,本科时在剑桥大学学习纯粹数学。虽然数学很有意思,但我想研究一些与现实世界联系更强的东西,于是我转...

    机器之心
  • 想本科入读人工智能专业,这篇文章送给准备填志愿的你

    在计算机专业和人工智能日益火爆的当下,很多人对这两个专业又是好奇又是憧憬。对此,清华大学刘知远教授近日在知乎上分享了一些内容,以帮助考生更加理性地选择专业,希望...

    机器之心
  • 想本科入读人工智能专业,这篇文章送给准备填志愿的你

    在计算机专业和人工智能日益火爆的当下,很多人对这两个专业又是好奇又是憧憬。对此,清华大学刘知远教授近日在知乎上分享了一些内容,以帮助考生更加理性地选择专业,希望...

    小小詹同学
  • 刘知远:写给正在填报志愿并对CS/AI感兴趣的2019届考生们

    为的是在计算机专业日益火爆的当下,解答考生和家长们普遍好奇的问题,帮助考生更加理性地选择专业,希望更多真正喜欢CS/AI的考生选好学校选对专业。现在看,这篇短文...

    AI科技大本营
  • 清华刘知远:写给正在填报志愿并对CS/AI感兴趣的考生们

    2018年6月高考结束后,我写过一篇短文:《写给正在填报志愿并对CS/AI感兴趣的考生们-2018》。

    大数据文摘

扫码关注云+社区

领取腾讯云代金券