干货 | 一文带你读懂DeepMind新论文,关联推理为什么是智能最重要的特征

大数据文摘作品,转载要求见文末

编译 | 宁云州、张礼俊、笪洁琼

每一次DeepMind发布一篇新论文,媒体都会疯狂地报道。其中不乏许多让人迷惑的术语。比如就有未来主义者这样报道:

DeepMind开发了一个可以感知周围事物的神经网络。

这不仅仅误导人,还吓跑了那些没有接受过博士阶段的学习的人。所以在这篇文章里,我打算用尽量简单的语言来解释这个新的神经网络架构,这篇文章也要求一些神经网络方面的基础知识。

你可以在这里找到原论文:https://arxiv.org/pdf/1706.01427.pdf

什么是关联推理?

简单来说,关联推理是去学习不同物体(想法)之间的联系,这被认为是智能最为重要的特征。论文作者用了一个图形示例来解释:

从关联问题的角度来看,上图的模型需要检查不同形状、尺寸、颜色的物体,还能够回答和多个物体相关的问题。

关联网络

作者提出了能够抓住物体内在联系的神经网络(正如卷积神经网络能够提取图像的性质)。他们提出了由下式定义的架构:

公式解释:

神经网络和函数

当我们在学习神经网络,做反向传播之时很容易忘了,一个神经网络实际上只是一个简单的数学函数!因此,方程(1)所描述的函数是一个神经网络!更准确的说,其中有两个神经网络:

关联网络是灵活的

作者以一个模块的形式提出了关联神经网络。它可以接收被编码了的物体并学习其中的关系。但更重要的是,关联神经网络可以被嵌入于卷积神经网络(CNN),和以长短时记忆单元[Z1] (LSTM)为基础的递归神经网络中。

卷积神经网络可以被用于从图像中学习物体,这使其更易于被应用。因为能在图像中进行推理比在用户指定的物体中进行推理明显更有用。

伴随着词嵌入,长短时记忆单元(LSTM)可以被用于理解模型被问及的问题的含义。这是很有用的一个变革,因为模型现在可以接收英文句子而不是预先定义好的物体。

作者提出了结合关联网络,卷积神经网络和长短时记忆单元来构建一个端到端的、能学习物体之间关联的神经网络。

上图解释:

图像经过一个标准的卷积神经网络(CNN),从中提取出图像的特征。关联神经网络的输入对象是网格中每一个点的特征向量。比如说其中一个对象是黄色的向量。

问题被传入长短时记忆单元(LSTM)中,产出了一个关于问题的特征向量。也就是这个问题的点。

同时对方程(1)进行了一些修改,加入另一项使其变成:

在上面的公式中,注意到比起方程1多了一个q项。这个q是长短时记忆单元的最终状态。现在关联性是条件于q的。

在此之后,神经网络输出的对象和长短时记忆单元输出的特征向量被用于训练关联网络。

基准

作者在几个数据集中展示了该模型的效果。这里我们讨论其中一个数据集(在我看来最显著的一个)——CLEVR数据集。

作者指出他们的模型比其他方法在精确度上高很多。这是因为关联网络就是为学习关联性而设计的。

相对于注意力堆模型仅仅75%的准确率,他们的模型达到了96%+的准确率。

结论

关联网络十分擅长高效地学习关联性。同时灵活,可以结合卷积神经网络和长短时记忆来一起解决问题。

这篇博文意在破除由于大量论文发表导致人工智能已经接管了一切的假象,并介绍当下最先进的算法是什么样的。

2017年7月《顶级数据团队建设全景报告》下载

关于转载如需转载,请在开篇显著位置注明作者和出处(转自:大数据文摘 | bigdatadigest),并在文章结尾放置大数据文摘醒目二维码。无原创标识文章请按照转载要求编辑,可直接转载,转载后请将转载链接发送给我们;有原创标识文章,请发送【文章名称-待授权公众号名称及ID】给我们申请白名单授权。未经许可的转载以及改编者,我们将依法追究其法律责任。联系邮箱:zz@bigdatadigest.cn。

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2017-08-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

【干货】PyTorch实例:用ResNet进行交通标志分类

【导读】本文是机器学习工程师Pavel Surmenok撰写的一篇技术博客,用Pytorch实现ResNet网络,并用德国交通标志识别基准数据集进行实验。文中分...

9528
来自专栏专知

【干货】Python机器学习项目实战2——模型选择,超参数调整和评估(附代码)

4002
来自专栏达观数据

技术干货 | 达观数据推荐系统算法实践—重排序

互联网的出现和普及给用户带来了大量的信息,满足了用户在信息时代对信息的需求,但随着网络的迅速发展而带来的网上信息量的大幅增长,使得用户在面对大量信息时无法从中获...

4244

特征选择(Feature Selection)引言

您应该采纳哪种特征去创建一个可预测的模型呢?

4166
来自专栏人工智能

机器学习教程:最大熵文本分类器

在本教程中,我们将讨论最大熵文本分类器,也称为MaxEnt分类器。最大熵分类器是自然语言处理,语音和信息检索问题中常用的判别分类器。使用像JAVA...

9638
来自专栏AI研习社

用 TensorFlow 让你的机器人唱首原创给你听

AI 研习社按:这篇文章会用一个简单的模型在 TensorFlow 上来实现一个音频生成器,GitHub 代码链接详见文末“阅读原文”。原文作者杨熹,载于作者的...

3509
来自专栏机器学习算法工程师

【TPAMI重磅综述】 SIFT与CNN的碰撞:万字长文回顾图像检索任务十年探索历程(下篇)

本文是《SIFT Meets CNN: A Decade Survey of Instance Retrieval》的下篇。在上 篇中概述了图像检索任务极其发...

1773
来自专栏IT派

PyTorch实例:用ResNet进行交通标志分类

【导读】本文是机器学习工程师Pavel Surmenok撰写的一篇技术博客,用Pytorch实现ResNet网络,并用德国交通标志识别基准数据集进行实验。文中分...

2.3K0
来自专栏小小挖掘机

模型调优没效果? 不妨试试Batch Normalization!

今儿调模型大佬又给支了一招,叫Batch Normalization(下面简称BN),虽然还没有深刻理解这玩意是什么,但是是真的挺有效的,哈哈。因此本文只是总结...

4226
来自专栏AI研习社

CNN+TensorFlow 就能教机器人作曲!

今天想来看看 AI 是怎样作曲的。 本文会用 TensorFlow 来写一个音乐生成器。 当你对一个机器人说:我想要一种能够表达出希望和奇迹的歌曲时,发生了什么...

4717

扫码关注云+社区

领取腾讯云代金券