专栏首页AI科技评论总结 | 清华大学韩旭:神经关系抽取模型

总结 | 清华大学韩旭:神经关系抽取模型

AI 科技评论按:关系抽取是自然语言处理中的重要任务,也是从文本中挖掘知识的基本途径之一。深度学习在关系抽取中的研究在近几年取得了广泛关注,其中基于远距离监督、带有注意力机制的神经网络模型成为解决问题的主要方法。在本次公开课中,讲者将梳理神经模型在关系抽取中的发展脉络,并分享相关领域的最新工作进展。

分享嘉宾:

韩旭,清华大学计算机系在读博士,导师是刘知远副教授,主要研究方向为自然语言处理,知识获取等。其研究工作曾在 AAAI、COLING、EMNLP 等发表。

公开课回放地址: http://www.mooc.ai/open/course/548?=Leiphone

分享主题:神经关系抽取模型

分享提纲:

  • 深度学习在关系抽取上的发展脉络。
  • 基于注意力机制的神经关系抽取模型的剖析。
  • 相关领域的最新工作进展的介绍。

雷锋网 AI研习社将其分享内容整理如下:

今天主要讲关系抽取领域的神经模型的发展近况,首先,给大家科普一下背景知识。

关系抽取属于信息抽取领域的子任务,主要的功能是让机器从一句话中抽出给定实体,并厘清相应关系,主要用于拓展知识图谱,把无结构的自由文本变成结构化数据。

在传统任务当中,我们会把关系抽取当作分类过滤器,先人为定义好关系,接着输入标注好实体的文本,然后判断文本属于定义关系中的哪一类。在某种程度上我们可以认为这是一个有监督的分类问题。

到了 2013 年,神经网络模型被运用到关系抽取领域里,也就是将句子作为特征放到神经网络里,通过神经网络习得特征来做分类。

这些模型存在一个问题,那就是需要大量的高质量数据和人力投入,代价较高,因此在推广上面临困难。

为了解决这个问题,远程监督的概念应运而生,它引入了这么一个假设:两个实体如果在外部的知识图谱中存在关系,那么包含该实体的句子就是图谱中的对应关系。通过这种启发式的方法,机器可以自动标注许多数据,再用于训练分类器做关系抽取。

远程监督的优势在于无需人工操作,且能普适大规模数据,然而却面临着噪音问题。

怎么解决这个噪音问题呢?

第一个方法是引入多实例学习,将所有包含同样实体的句子放到一个包(bag)里,在有需要时对包里的句子进行特征提取,进而预测实体之间的关系。

2015 年的一项工作把远程监督与多实例学习结合起来,从那时开始,关系抽取领域的关键模型基本上都由远程监督+多实例学习+神经网络组成。

注意力机制模型

这是我们实验室一个学长在 2016 年开展的一项工作,主要针对多实例学习中存在的噪音问题,通过引入注意力机制给包(bag)下的句子赋予权重,有效增强预测效果。

【更多关于注意力机制模型的运作原理,请回看视频 00:16:53 处,http://www.mooc.ai/open/course/548?=Leiphone】

从实验结果上看,添加注意力机制确实可以有效提升模型的效果。(黑线为增加了注意力机制的模型)

从 2016 年开始,关系抽取领域的关键模型在原来的远程监督+多实例学习+神经网络模型基础上,再增加一个注意力机制。

拓展模型

一、 引入实体的描述信息来构建注意力机制

该工作将句子中的实体与对应的描述文本的词向量进行处理后得到两个特征,接着对两个特征做减法获得潜在关系,最后把潜在关系作为注意力机制的向量。

二、 引入软标注机制

为了解决错误标注的问题,该工作给每个关系设置一个置信度,训练的过程中一旦发现预测的关系与原来标注的不一致,且置信度比原来的要高的话,就会默认原来的标注存在问题,并以新的预测关系进行替代。

三、 引入对抗训练

通过刻意给句子制造噪音,无形中增强模型的抗噪能力。

四、 抽取多个实体之间的关系

针对一大段文本中的多对实体进行关系抽取。这是业界未来一个可能的研究热点,因为和我们人类日常的认知机制比较接近。

五、 融入知识表示模型

将知识图谱模型与关系抽取模型放在一块做联合训练,进而作为注意力机制起降噪作用。在这过程中,文本还可协助图谱进行完善和校正。

六、 融入知识图谱的结构信息

通过引入知识图谱的关系层次结构(主副关系等),构建一个从粗粒度到细粒度的注意力机制特征。

七、 跨语言关系的抽取

该工作的核心思路在于利用不同语言之间的注意力机制,给彼此的文本做跨语言的权衡计算。跨语言关系抽取的好处在于,可以有效利用语言之间的互补性,比如中文里较少的关系特征数据,可用英文数据来进行补充。

八、 跨语言关系的抽取(升级版)

通过设立单独语义空间和跨语言统一空间,并引入对抗训练,优化最终跨语言关系的提取效果。

九、 基于 few-shot learning 的研究场景

为了解决远距离监督的长尾数据问题,该工作通过构建一个人工标注的少样本数据集,让机器可以通过较少的样例进行学习推理。不过该工作目前更多应用在图像领域,自然语言领域有较大的发展空间。

最后给大家推荐一些相关资源。

前三项是我们组发完论文后的一些模型实现,后两项则是一些零零散散的工作开源代码。

我今天的分享就到此为止,谢谢大家!

以上就是本期嘉宾的全部分享内容。更多公开课视频请到雷锋网AI研习社社区(https://club.leiphone.com/)观看。关注微信公众号:AI 研习社(okweiwu),可获取最新公开课直播时间预告。

本文分享自微信公众号 - AI科技评论(aitechtalk)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-09-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 智能对话 | 使用 Java实现 智能对话机器人 -- 附源码

    目前人工智能与深度学习顺应了互联网时代潮流,人机对话已经成为目前人工智能领域中非常热门的处理技术。其中基于深度学习的人机对话交换系统(智能机器人)是人工智能最有...

    码神联盟
  • 如何设计一款理解用户需求的智能语音产品

    对话是人与人之间交换信息的普遍方式。人可以在交流时通过判别对方的语气、眼神和表情判断对方表达的情感,以及根据自身的语言、文化、经验和能力理解对方所发出的信息,但...

    mixlab
  • Ooooops! 这通骚扰电话是AI机器人打的(浙大出品,中文很6)

    说,浙大90后团队,研发了一个会打电话的AI机器人,能用自然柔美的女声,和人类对话,而且还能发出“嗯”“啊”的声音。

    量子位
  • 基于tensorflow+CNN的新闻文本分类

    tensorflow是谷歌google的深度学习框架,tensor中文叫做张量,flow叫做流。 CNN是convolutional neural netwo...

    潇洒坤
  • AI 迟早灭了程序员

    就目前的 AI 来看,判断某项工作是不是会被机器替代,有俩前提,大前提:可以获得足够的有效数据(能自动生成数据则无敌),也就是说机器有快速进化的基础;小前提:人...

    CSDN技术头条
  • 关于知识图谱的几个问题

    DC童生
  • 入门 | 什么是自注意力机制?

    目前有许多句子表征的方法。本文作者之前的博文中已经讨论了 5 中不同的基于单词表征的句子表征方法。想要了解更多这方面的内容,你可以访问以下链接:https://...

    昱良
  • 小米迎来NLP首席科学家王斌:中科院研究员,雷军崔宝秋亲学弟

    小米又有AI科学家加盟,这次是中国科学院信息工程研究所研究员王斌,他将出任小米AI实验室NLP首席科学家,负责自然语言处理基础平台的构建及前沿技术的探索与创新。

    量子位
  • AI与中国未来就业白皮书发布:70%职业受冲击,江浙机器换人大潮汹涌

    8月22日,中国发展研究基金会联合红杉资本中国基金,对外发布了一份《投资人力资本,拥抱人工智能:中国未来就业的挑战与应对报告》,对比中外、调研一线企业、而且走访...

    量子位
  • 【AI就业面面观】如何选择适合自己的舞台? --写给即将参加校招的学弟学妹们

    一年一度的校园招聘即将开始,各位学弟学妹们将面临继高考、读研/博之后的又一次重大的人生选择。第一份工作对于一个人职业生涯的一生都至关重要,如何选择适合自己的团队...

    SIGAI学习与实践平台

扫码关注云+社区

领取腾讯云代金券