动态 | 谷歌让机器更懂语言的博大精深,发布最大消歧语料库

理解语言的核心自然是了解词语在文本中的不同含义。AI科技评论先说个中文笑话先:

领导:「你这是什么意思?」 下属:「没什么意思,意思意思。」 领导:「你这就不够意思了。」 下属:「小意思,小意思。」 领导:「你这人真有意思。」 下属:「其实也没有别的意思。」 领导:「那我就不好意思了。」 下属:「是我不好意思。」

如果让机器来理解这些到底是什么意思,想必它也会头疼的吧。

那么用相对简单的英文?也没有那么简单。毕竟一个单词可能包括数十个意思。

举个例子:「he will receive stock in the reorganized company」,这个句子中,我们结合上下词就能知道,「stock」在这里是股票的意思,我们可以从牛津字典中找到更为专业的解释。

但是同样在牛津字典中,stock 这个词还有超过 10 个不同的含义,比如「(商店里的)库存」或是「(鞭子、钓竿等的) 柄」。对于计算机算法而言,如何从博大精深的含义中找寻某个句子中对应的词义?这的确是一个词义消歧难题,也就是 AI-Complete 问题。

AI科技评论消息,今天谷歌研究院又发出了重磅新闻,他们发布了基于 MASC&SemCor 数据集的大规模有监督词义消歧语料。这些语料会与牛津字典上的例句做映照,广泛适用于各个社区。与此同时,本次发布也是最大的全句释义语料库之一。

有监督词义消歧

人们通过对句子中词语的内容进行理解,因为我们能通过常识判断上下文的含义。比如同样一个例子,「『stock』 in a business」代表的自然是股票的意思,而「『stock』 in a bodega」更有可能是库存的意思,即使这里的 bodega 也可能指酒窖生意。我们希望为机器提供足够的背景信息,并应用于理解文本中词语的含义。

有监督词义消歧(WSD)尝试解决这一问题,也就是让机器学习使用人工标记的数据,并与字典中的词语所代表的典型含义匹配。我们希望构建这样的一个监督模型,能够不考虑复杂语境,并匹配句中单词在词典中最可能表达的含义。虽然这一点富有挑战,但监督模型在大量训练数据支持下表现良好。

通过发布数据集,我们希望社区能够提出更好的算法,让机器对自然语言产生更深刻的理解,支持以下的应用:

  • 从文本中自动搭建数据库存,这样一来,机器可以回答问题,并将文档中的知识串联起来。举个例子,机器在经过学习后,明白「hemi engine」指的是一种自动化的机械;而「locomotive engine」则与火车有关。也能理解「Kanye West is a star」指的是名人的意思;而「Sirius is a star」则是天文学概念。
  • 消除歧义。我们希望让文本在查询中能够呈现不同的含义,避免张冠李戴,与此同时还能返回具有相关语义的文档。

人工注释

在我们人工标记的数据集中,每一个词义注释都由五个评估者进行审核。为了确保质量,这些评估者会进行训练(gold annotation),即让语言学家们对一些研究样本进行标记。以下是我们的标记页面。

在页面左边呈现的是 general 的常用词义及例句,在右侧的文本中,general 一词会高亮显示。除了匹配词义外,评估者还能对词语进行判断,可以指出包括「拼写错误」、「上述情况都不符合」、「不确定」等三种情况。此外,评估者可以对一些含有隐喻的词语进行标记并评论。

这些人工的词义标注采用了 Krippendorff's alpha (α >= 0.67 则具有一定可信度,α >= 0.80 则表示具有很高的可信度) 进行判断,结果显示得分为 0.869。AI科技评论认为这是一个非常不错的成绩了。

Wordnet Mappings

与此同时,谷歌也发布了两个从牛津词典到 Wordnet 的映射。小的数据集中含有 2200 个单词,而大的数据集则是算法构建的。这两个映射内容能够更好地将 Wordnet 的内容应用于牛津词典的语料库中,也能够在使用过程中实现系统的构建。

以上研究成果已经收录在「Semi-supervised Word Sense Disambiguation with Neural Models」中,主要采用的是 LSTM 语言处理模型及半监督学习算法。

Via google blog

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-01-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

吴恩达最新深度学习课程: 斯坦福2018—Andrew Ng、Kian Katanforoosh主讲(附PPT)

【导读】近期,斯坦福大学深度学习课程有开课了,主讲老师是人工智能领域知名学者Andrew Ng和Kian Katanforoosh。我们在早些时候也编辑发布了卡...

4836
来自专栏用户2442861的专栏

机器学习系列(7)_机器学习路线图(附资料)

http://blog.csdn.net/han_xiaoyang/article/details/50759472

1191
来自专栏数据派THU

数据变金矿:一文读懂序列模型(附用例)

众所周知,人工神经网络(ANN)的设计思路是模仿人脑结构。但是直到10年前,ANN和人类大脑之间唯一的共同点是对实体的命名方式(例如神经元)。由于预测能力较弱并...

541
来自专栏新智元

【ICCV 13大不可错过的有趣项目】实时任意风格迁移、手机照片背景模糊……

来源:techcrunch 作者:Devin Coldewey 编译:马文 【新智元导读】计算机视觉领域顶会之一的 ICCV 结束不久,图像质量提升、从头创建...

3597
来自专栏数据科学与人工智能

【数据挖掘】数据挖掘中应该避免的弊端

1. 缺乏数据(Lack Data) 对于分类问题或预估问题来说,常常缺乏准确标注的案例。 例如:欺诈侦测(Fraud Detection):在上百万的交易中...

2698
来自专栏AI科技大本营的专栏

重磅 | 小米首次公开发表论文:基于注意力机制的端对端语音识别(附论文翻译)

文/CSDN周翔 今年 3 月,雷军在两会的媒体沟通会上表示,“去年年初,小米设立了探索实验室,不久将有重磅级的人工智能产品发布。” 昨日(7 月 26 日)下...

3916
来自专栏AI科技评论

学界 | 伯克利 DeepMimic:虚拟特技演员的基本修养

「运动控制问题已经成为强化学习的基准,而深度强化学习的方法可以很高效的处理控制和运动等问题。然而,使用深度强化学习训练的目标对象也经常会出现不自然动作、异常抖动...

2804
来自专栏CDA数据分析师

不可错过的优质深度学习课程

原作者   David Venturi 编译 CDA 编译团队 本文为  CDA 数据分析师原创翻译作品,转载需授权 几乎每天都可以看到深度学习改变日常生活的新...

22010
来自专栏大数据文摘

AI = 神经网络?这8个技术就不是!

822
来自专栏AI科技评论

学界 | 回望2017,基于深度学习的NLP研究大盘点

在过去的几年里,深度学习(DL)架构和算法在诸如图像识别和语音处理等领域取得了世人瞩目的进步。然而在最开始的时候,深度学习在自然语言处理(Natural Lan...

3285

扫码关注云+社区