学习
实践
活动
专区
工具
TVP
写文章
专栏首页专知【QA论文笔记】问答对排序新方法,层次循环编码器与主题聚类结合

【QA论文笔记】问答对排序新方法,层次循环编码器与主题聚类结合

【导读】这篇发表在自然语言处理领域顶级会议的NAACL的文章,提出了一种新的端到端神经网络架构,用于对候选回答进行排序。该文章提出的模型,文本分别按照词和块的级别进行编码,有效地捕捉了整句话的含义。在此基础之上,增加了话题聚类模块,从回答中提取语义信息,将回答进行分组,进一步提升了排序的性能。

【NAACL 2018 论文】

Learning to Rank Question-Answer Pairs using Hierarchical Recurrent Encoder with Latent Topic Clustering

简介



最近神经网络已经在许多机器学习领域取得了巨大成功,如图像分类,语音识别,机器翻译,聊天机器人,问答等领域。其中,自动问答(QA)任务一直被认为是人工智能的主要目标。

在商业领域,通常通过使用预先组织的知识库和/或使用基于信息检索(IR)的方法来处理QA任务。而在学界,研究人员不断研究QA系统核心技术:问答对排序任务。排序任务是指,从知识库或基于检索的模块中选择候选回答中的最佳答案。有许多端到端的神经网络试图来解决这一任务。这些作品侧重于匹配句子级别的文本对。因此,他们在理解更长的文本(如多回合对话和解释性文档)方面存在局限性,文本变长时,排序性能随之下降。为了解决这个问题,这篇文章的创新点在于:

• 引入分层递归对偶编码器(HRDE)模型来计算问答对之间的匹配度来确定排名。通过使用分层体系结构将文本从单词级别编码为块级别,HRDE可以防止在理解更长的文本时性能下降,同时支持其他最先进的神经网络模型。

提出了一个潜在主题聚类(LTC)模块来从目标数据集中提取潜在信息,并将这些额外的信息应用于端到端的训练。该模块允许每个数据样本找到最近的话题聚类,从而帮助神经网络模型分析整个数据。 LTC模块可以与任何神经网络相结合,作为额外信息的来源。这是一种利用潜在话题集群信息进行QA任务的新颖方法,特别是通过将HRDE和LTC的组合模型应用于QA对排名任务。

该论文在Ubuntu对话语料库和三星官方网站抓取的真实QA数据上对提出的模型进行评估,可以看出达到了state of art 的效果。

模型



HRDE(Hierarchical Recurrent Dual Encoder )

首先解释模型中的几个词语,解释之后,模型的结构以及为什么这样设计就很容易理解了。

Dual :Dual是“对偶”的意思,在排序任务中,需要分别对问题和候选回答会进行编码,这就体现了“Dual”

Recurrent:循环,代表RNN循环神经网络,在文本处理时,充分考虑了上下文的关系,在对当前词语进行编码的时候,还会加入到前几个词的编码信息,并加入一些遗忘机制(LSTM,GRU)等。

其实用循环神经网络编码问答对前人已经做过(Lowe 2015),而由于RNN的遗忘的机制,针对长文本编码时往往不能顾及全局的信息,因此,本文的作者提出了分层结构。

• Hierarchical 所谓的分层结构,就是首先将一整个回答首先按照句子或其他方式切分成几个部分,首先对各部分的词分别进行编码,然后在结合整个词的编码作为整个部分的编码,完成了所谓的分层编码的效果。这种做法避免了在处理长文本时由于“遗忘”而导致排序性能下降的问题。

模型的框图如下所示,右边蓝色框中的即展示了分层编码: 表示第i个部分的中的t个词, 表示对第i个部分中第j个词用RNN编码的结果。 表示在对词编码的基础上,对这部分进行编码的结果。

LDT( Latent Topic Clustering )



而为了进一步提高排序的性能,在HRDE的基础上,还进行了分组。这一操作只应用于回答。在HRDE输出的基础上,首先将输入与代表K个“主题”的向量做内积,并softmax,得到该回答与所有主题的“相似度”(或“权值?”),然后用“相似度”和K个主题”构造“输入的向量中的主题特征,即按照相似度对“主题“进行加权求和,和原始输入拼接在一起,作为下一步排序的输入。

LDT的结构图如下所示(蓝色虚线框):

实验结果



数据集

文章中使用了Ubuntu 数据集和从三星官网上爬的数据来验证模型。数据的特点如下所示:

句子的样例如下所示,可见回答都是较长的文本:

在三个数据集上的实验结果如下所示,可见加入了分层结构对实验结果有十分明显的提升,而后期主题聚类又在此基础上有微弱的提升。

参考链接:

https://arxiv.org/pdf/1710.03430.pdf

更多教程资料请访问:专知AI会员计划

-END-

文章分享自微信公众号:
专知

本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!

作者:专知内容组
原始发表时间:2018-05-14
如有侵权,请联系 cloudcommunity@tencent.com 删除。
登录 后参与评论
0 条评论

相关文章

  • 阿尔伯塔大学博士毕业论文:基于图结构的自然语言处理

    这篇博士论文将自然语言处理和文本挖掘的多个核心任务与图结构的强大表示能力结合起来,从而充分利用深度学习的表示能力和文本中的结构信息来解决诸多问题:(1)组织信息...

    机器之心
  • 学界 | NLP年度盛宴EMNLP/CoNLL 2018最精彩论文精选(摘要+评论)

    每年,全球最顶尖的NLP研究者们会在这两个大会上展示最前沿的NLP科研成果。然而,动辄上千篇的论文却令很多关注NLP领域最新动态的小伙伴望而却步。

    大数据文摘
  • 学界 | NLP年度盛宴EMNLP/CoNLL 2018最精彩论文精选(摘要+评论)

    每年,全球最顶尖的NLP研究者们会在这两个大会上展示最前沿的NLP科研成果。然而,动辄上千篇的论文却令很多关注NLP领域最新动态的小伙伴望而却步。

    zenRRan
  • 7 Papers & Radios | ACL 2020获奖论文;贝叶斯深度学习综述

    论文 1:Beyond Accuracy: Behavioral Testing of NLP Models with CheckList

    机器之心
  • 神作《GTA 5》走进现实!AI逼真还原游戏街景,还能“脑补”细节 | 英特尔出品

    GTA 也叫“侠盗猎车手”,是R星旗下一款超高人气动作冒险类游戏,目前已经发售至第五版。

    AI科技评论
  • Wiztalk腾讯广告专场系列直播第一场:基于图神经网络的聚类分析

    如何科学地划分用户群体?如何在聚类中同时考虑用户特征和社会关系?如何利用好多个视角的数据获得一个更加全面的用户聚类结果?5月29日(本周五)晚上7点开始的Wiz...

    腾讯高校合作
  • 【广告技术】如何科学地划分用户群体?在聚类中考虑用户特征和社会关系

    对互联网广告来说,让不同的用户看到不同的广告是一件特别基本、也特别重要的事。比如,会吸引一位男性游戏爱好者的广告,内容很可能是电竞显示器、专业游戏键盘,而且他也...

    黄博的机器学习圈子
  • Use of Deep Learning in Modern Recommendation System: A Summary of Recent Works(笔记)

    注意:论文中,很多的地方出现baseline,可以理解为参照物的意思,但是在论文中,我们还是直接将它称之为基线, 也就是对照物,参照物. 这片论文中,作者没有...

    Gxjun
  • 业界 | 思必驰推出启发式对话系统,关注知识传播的会话精灵

    对于对话系统来说,一般都可以分为特征处理、理解意图和生成答案等过程。思必驰北京研发院 NLP 负责人葛付江解释,在接收问句后,系统会进行进行分词、词性标注以及命...

    机器之心
  • Name Disambiguation in AMiner-Clustering, Maintenance, and Human in the Loop

    Name Disambiguation in AMiner: Clustering, Maintenance, and Human in the Loop

    超然
  • 【源头活水】CVPR 2021 | CLD: 通过挖掘实例与聚类间关系进行无监督特征学习

    “问渠那得清如许,为有源头活水来”,通过前沿领域知识的学习,从其他研究领域得到启发,对研究问题的本质有更清晰的认识和理解,是自我提高的不竭源泉。为此,我们特别精...

    马上科普尚尚
  • 干货 | 深度学习和迁移学习在语义匹配模型中的应用

    如何正确理解用户的诉求是交互过程的核心,近几年随着机器学习和深度学习的发展,语义匹配模型在学术界也有质的飞跃。本文将结合携程业务应用案例聊聊如何把这些模型落地在...

    携程技术
  • 机器学习经典 Python Machine Learning 作者:新书计划曝光,分享实战经验

    【新智元导读】机器学习入门经典读物 Python Machine Learning 的作者 Sebastian Raschka昨天在Quaro回答提问,分享技术...

    新智元
  • cips2016+学习笔记︱简述常见的语言表示模型(词嵌入、句表示、篇章表示)

    CIPS2016 中文信息处理报告《第五章 语言表示与深度学习研究进展、现状及趋势》第三节 技术方法和研究现状中有一些关于语言表示模型划分的内容P33-P35,...

    悟乙己
  • ACM SIGIR 2022 | 美团技术团队精选论文解读

    总第524篇 2022年 第041篇 今年,美团技术团队有多篇论文被ACM SIGIR 2022收录,这些论文涵盖了观点标签生成、跨域情感分类、对话摘要领域迁...

    美团技术团队
  • EMNLP 2018 详尽参会见闻

    AI 科技评论按:本篇属于「顶会见闻系列」。每年这么多精彩的人工智能/机器学习会议,没去现场的自然可惜,在现场的也容易看花眼。那么事后看看别的研究员的见闻总结,...

    AI科技评论
  • ECCV 2020 | 腾讯 AI Lab 16篇入选论文解读

    来自Tencent AI实验室。本文主要介绍 ECCV 2020 中腾讯 AI Lab 16篇入选论文。

    深度学习技术前沿公众号博主
  • 知识图谱入门 , 知识问答

    可以看出,整体进程由基于模板到信息检索到基于知识库的问答。基于信息检索的问答算法是基于关键词匹配+信息抽取、浅层语义分析。基于社区的问答依赖于网民贡献,问答过程...

    机器学习AI算法工程

扫码关注腾讯云开发者

领取腾讯云代金券