世界首个无监督幽默生成系统诞生,深度学习下一个大战场:讲段子!

【新智元导读】作者研发了第一个完全无人监督的笑话生成系统,使用的只是大量未标注的数据。这表明生成笑话并不像一般认为的那样,总是需要深度的语义理解。

摘要

幽默的生成是一个非常复杂的问题。很难准确地说出是什么使一个笑话变得可笑。一般认为解决这个问题要深入的语义理解,以及文化和其他语境线索。这一领域之前的工作是尝试使用人工特别创建的数据库和标注的训练实例来为这种知识建模。我们没有这样做,而是提出了一个模型,使用大量的未标注数据来生成诸如我喜欢我的X就像我喜欢我的Y一样,Z笑话(I like my X like I like my Y, Z jokes)这样的模式,其中X、Y和Z是要填充的变量。这是,据我们所知,第一个完全无人监督的幽默生成系统。我们的模型显著优于竞争基线,并在16%的时间生成了有趣的笑话,人类则是33%的时间里生成笑话。

概述

生成笑话通常被认为是一个非常困难的自然语言问题,因为它意味着对文本深刻语义的理解,同时经常伴有对文化的理解。我们生成了一个特定类型的笑话——-我喜欢我的X就像我喜欢我的Y一样,Z(I like my X like I like my Y,Z)-其中X和Y是名词,Z通常描述的是X和Y的属性。这类笑话的一个例子是“我喜欢我的队员就像我喜欢我的茶一样,是热的,而且是英式的) - 这些笑话在网上很流行。

尽管从单纯地生成角度来看(句法系统是固定的),这类笑话不是很有趣,但其内容选择仍非常具有挑战性。的确,大多数用于这一笑话中的X、Y和Z,不会被认为是可笑的。因此,本项工作的主要挑战,是要在这个笑话模板中填空,并使整个句子显得可笑。

与之前所做的幽默生成的工作不同,我们不依赖于标注过的训练数据或人工编码规则,而是依赖于大量未注释的数据。我们提出了一个机器学习模型,来表达我们关于什么能使这类笑话变得可笑的假设。我们也证明了,通过使用这一相当简单的模型和大量的数据,我们在16%的时间里,生成在人类评判者看来可笑的笑话。

本文的主要贡献在于,这是就我们所知第一个完全无人监督的笑话生成系统。我们使用的只是大量未标注的数据,这表明生成笑话并不像一般认为的那样,总是需要深度的语义理解。

我们提出了一个完全无人监督的笑话生成系统,来生成以下这一类笑话

我喜欢我的人际交往关系就像我喜欢我的资源一样,很开放。

I like myrelationships like I like my source

我喜欢我的咖啡就像我喜欢我的战争一样,冰冷。

I like mycoffee like I like my war, cold

“我喜欢我的X就像我喜欢我的Y一样,Z”(I like my X like I like my Y, Z)是需要填充的模板。就我们所知,这是第一个不要求任何标注数据或是人工编码规则的笑话生成系统。我们把我们认为的关于什么使得一个笑话变得好笑的假设表达成为一个机器学习模型,并证明了通过在大量无标注数据上评估参数,我们可以生成人类觉得好笑的笑话。尽管我们的实验表明人类生成的笑话在更多时间里更好笑,我们仍然相信我们的系统能在16%的时间里产生人类觉得好笑的笑话,这件事本身就是鼓舞人心的。

笑话的数学模型

在“我喜欢我的X就像我喜欢我的Y一样,Z”(I like my X like I like my Y, Z,)模板中,我们假设X和Y是名词,Z是一个形容词。

关于这个笑话,我们的模型编码了四个主要假设,:

1.属性越经常用于形容全部两个名词,笑话越有趣;

2.属性越不常见,笑话越有趣;

3.属性表达得越模糊,笑话越有趣;

4.两个名词越不相似,笑话越有趣。

图1是以因子图形式表示的模型。由圆圈表示的变量和由方块表示的因子,定义了涉及其所连接的变量的势函数。

假设1最直接,通过φ(X, Z) 和φ(Y, Z)因子表示。这一假设可以在数学上表示为:

其中f (x, z)是度量x和z联合出现概率的函数。

关于假设2,如果有一些属性非常常见,能用于描述几乎所有事物(比如新、免费、好),那么它们导出的句子很可能是糟糕的笑话。属性Z越不寻常,就越可能引起惊奇,这是笑话幽默的来源。

我们在因子φ1(Z)中表达了这一假设:

假设3是基于这一观察,即一个属性,在一种语义下描述了名词X,描述名词Y却是另一种语义。

我们用in φ2(Z)表示:

假设4表达了两个名词间的不相似性会引出更多的幽默,因为一个属性对二者的同时描写会超出听者的期待。我们用 φ(X, Y ) 来鼓励两个名词间的不相似性:

关于数据和实验

为了估算 f(x,y)和f(z),我们使用Google n-gram数据(Michel et al.,2010),特别是Google 2-gram数据。我们使用Wordnet (Fellbaum, 1998)中与该词相关联的最常见的词性标签(POS)来标记2-gram中的每个词。在我们有了POS标记的Google 2-gram数据后,我们提取所有的(名词,形容词)对,并使用他们的计数来估算f(x,z) 和f(y,z)。

需要特别指出,尽管我们在论文中使用了Wordnet,我们的方法并不特别依赖它。我们仅仅使用它来取得一些浅层信息。

我们分两阶段评估了我们的模型。首先,自动评估从推特上搜集来的笑话;然后,拿人类生成的笑话和用我们方式生成的笑话做比较。

关于模型、数据和实验的更多内容,请点击论文链接阅读。

原文地址:http://www.aclweb.org/anthology/P13-2041

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-02-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数值分析与有限元编程

迭代法计算结构的自振频率

迭代法用于求矩阵的最大特征值,逆迭代法用于求矩阵的最小特征值,矩阵特征值与自振频率之间的关系为 ω= √λ / (2*π) 一般来说,一个结构有多少个质量...

2615
来自专栏腾讯云人工智能

深度学习在语音识别上的应用

我今天演讲主要分四个部分,第一个是分享语音识别概述,然后是深度神经网络的基础;接下来就是深度学习在语音识别声学模型上面的应用,最后要分享的是语音识别难点以及未来...

4.4K4
来自专栏数据科学与人工智能

【深度学习】深度学习未来十大趋势

神经网络框架变得越来越复杂而精密 在感知、语言翻译等等方面的大部分最先进的神经网络框架正在发展并且不在仅仅关于简单前馈式(feed forward)框架或者卷积...

3639
来自专栏新智元

DeepMind最新ICML论文:价值分布方法超越所有传统强化学习

【新智元导读】DeepMind 在他们的 ICML 2017 论文 A Distributional Perspective on Reinforcement ...

4189
来自专栏量子位

第四范式陈雨强:万字深析工业界机器学习最新黑科技

转载自 第四范式公众号 近日,全球最顶级大数据会议Strata Data Conference在京召开。Strata大会被《福布斯》杂志誉为“大数据运动的里程碑...

3859
来自专栏ATYUN订阅号

DeepMind研究:测试神经网络的抽象推理

机器能学会抽象推理吗?这是谷歌子公司DeepMind发表的一篇新论文的主题,题为“Measuring abstract reasoning in neural ...

1224
来自专栏AI科技评论

干货 | DeepMind 提出 GQN,神经网络也有空间想象力

AI 科技评论按:人类理解一个视觉场景的过程远比看上去复杂,我们的大脑能够根据已有的先验知识进行推理,推理的结果所能涵盖的内容也要远超出视网膜接收到的光线模式的...

1393
来自专栏机器之心

GMIS 2017 | 第四范式首席研究科学家陈雨强:机器学习模型,宽与深的大战

机器之心原创 机器之心编辑部 5 月 27 日,机器之心主办的为期两天的全球机器智能峰会(GMIS 2017)在北京 898 创新空间顺利开幕。中国科学院自动化...

3506
来自专栏算法channel

一文梳理NLP之机器翻译和自动摘要的发展现状

2 NLP入门:CNN,RNN应用文本分类,个性化搜索,苹果和乔布斯关系抽取(2)

6452
来自专栏AI科技评论

视频 | AI实时生成材质,效果直逼好莱坞大片

我们的卷积神经网络可以提供这些图像的实时预测结果,这些预测与真正的渲染图像难以分辨,并且实时生成。

1273

扫码关注云+社区

领取腾讯云代金券