学界 | 纽约大学:参考儿童认知发展,通过简单神经网络学习归纳偏置

选自arXiv

作者:Reuben Feinman等

机器之心编译

参与:黄小天、刘晓坤、许迪

借助先验知识,也就是归纳偏置,人类得以有效学习关于世界的新知识。本文发现,简单神经网络在观察 4 个物体类别的 3 个实例之后,便可以发展出一种形状偏置,这预示着神经网络开始快速学习词汇,与儿童的认知发展过程相一致。本文启发了一种参考生物认知发展过程以初始化模型,然后逐渐泛化到更复杂数据集的模型开发范式。

论文:Learning Inductive Biases with Simple Neural Networks

论文链接:https://arxiv.org/pdf/1802.02745.pdf

摘要:为了高效学习新概念,人类大量使用关于世界的先验知识。这些先验——也被称作「归纳偏置」(inductive biases)——归属于学习器的内部模型空间,可帮助学习器做出超出已观察数据之外的推断。最近一项研究发现,针对目标识别而优化的深度神经网络可以发展出形状偏置(Ritter et al., 2017),一种在儿童早期词汇学习之中扮演重要角色的归纳偏置。然而,这些神经网络使用了大量的训练数据,并且这些偏置发展所需的条件也很不清晰。此外,上述网络的学习机制如何与儿童发育过程相关尚不清楚。我们使用抽象模式和合成图像的可控数据集来研究神经网络中形状偏置的发展和影响,使得我们可以系统地改变提供给学习算法的经验数据的数量和形式。我们发现简单神经网络在观察 4 个物体范畴的 3 个实例之后就发展出一种形状偏置。这些偏置的发展预示着网络开始快速学习词汇,这与儿童的认知发展过程相一致。

图 1:形状偏置泛化测试。(a) 中的第一阶测试评估儿童是否能够根据形状学习把一个熟悉的物体名称泛化到一个新示例。这是发展形状偏置的第一步。(b) 中的第二阶测试评估儿童是否可以根据形状把一个新名称泛化到一个新示例。这是发展形状偏置的第二步,也是最后一步。

图 2:使用不同训练集大小训练的显式形状偏置的 MLP 泛化结果。x 轴和 y 轴分别表示提供给网络的类别数量和每个类别的示例数量。图中展示了超过 1000 次特定泛化测试的准确性,由 10 次训练运行结果取平均值得到。同一数据分别以等高线和热图展示。

图 3:多层感知机架构。形状、颜色、纹理属性向量被集合并馈送至一个 30 单元的隐藏层,后面是一个分类层。图中展示了 3 个实例输入物体(每次只向网络输入一个物体)。

图 4:感知相似性,作为物理刺激距离的函数。测试刺激根据形状或颜色维度被系统地改变。在每种情况下,通过最后一个隐藏层的特征计算原始刺激与其变化的对应物之间的网络相似性分数。

图 5:实验 2 的训练刺激。(a) 中是不同形状和颜色的新物体(前三个输入通道)。(b) 是一些可在第 4 个输入通道中发现的纹理实例。

图 6:CNN 泛化结果。(a) 展示的是显式形状偏置训练的结果,如实验所述。为了对比,(b) 展示的是一个被训练用来基于颜色标注物体类别名称的神经网络的结果。在这一案例中,泛化测试评估颜色匹配被选择的次数比例。每一网格的结果展示 10 次训练运行的平均值。

图 7:卷积网络架构。该网络接收 4D 图像刺激并被训练基于形状使用类别名称标注图像中的物体。

图 8:可视化已学习的首层卷积核的 RGB 通道。(a) 中是我们的 CNN(由显式形状偏置 (N=50 & K=18) 进行训练)卷积核。每行对应于 5 个卷积核之一。前 3 个通道分别展示了 R、G、B 列。这 3 个通道一起合并为第 4 列,标注为 RGB。(b) 中是我们的 CNN(被训练根据颜色标注物体的类别名称)的镜像卷积核。在 (a) 和 (b) 中,只展示了通道 4 的通道 1-3。

图 9:形状偏差与词汇的学习曲线。(a) 展示的是 GershkoffStowe & Smith (2004) 研究中 8 个儿童参与者的学习曲线。参与者将学习 5-8 个实验环节。曲线展示的是词汇大小(左)和累加形状选择(右)。这里的词汇包括所有的名词类型。(b) 是 CNN 网络的在类似问题上的绘图。出于可视性考虑从总共 20 个神经网络中随机选择 8 个。这里,词汇仅针对基于形状的物体名称进行测量。

综合讨论

通过一组可控的综合实验,本论文提供了有关允许在神经网络中 learning-to-learn 的环境条件的新见解。在 Colunga & Smith (2005) 的工作基础之上,我们表明简单神经网络可从 4 个类别的 3 个实例的抽象模式的刺激之中学习形状偏置。因此,这些网络在偏置发展所需的样本复杂性中同时采用 HBMs 和人类儿童的方法。通过扩展 Ritter et al. (2017) 的研究成果,我们表明通过高维彩色图像训练的简单 CNN 架构可以通过 8 个目标类别的 6 个实例学习形状偏置,然而不是所有的刺激属性都相同。我们的彩色图像训练实验表明 CNN 的学习动态取决于其训练时接受的属性。这一结果凸显了把刺激扩展到更多复杂数据的重要性,其中不同刺激属性有不同的物理性质。最后,我们的新结果表明一个已训练网路对形状的敏感性如何随着输入而变化参数。

在最近的一项研究中,Hill et al. (2017) 训练一个神经网络智能体导航虚拟 3D 环境,并使用类似于我们的简化人工物体刺激根据基于名称的语言指令收集物体。作者从有关人类儿童的研究中获得启发,其结果值得注意。然而,我们的工作目标在某些重要方面很不同。本实验中的智能体一起接收视觉和语言的联合输入,并且必须输出导航决策。因此网络被要求同时学习不同的任务——即,视觉感知、语言理解和导航。因此论文的学习曲线反映了一种多方面学习的形式。本论文中我们的主要兴趣是研究神经网络学习归纳偏置所需的精确数据量。我们的框架旨在独立研究这一问题,以最大限度地减少外部因素的干扰。

人类儿童的形状偏置的发展据知与改进的单词学习能力相关联,这一现象在我们的网络之中有所反映。这一发现说明,有可能将模型通过形状偏置训练进行初始化之后,可能更加高效地训练大规模图像识别模型。在未来的工作中,我们希望通过本文启发的初始化框架,在 ImageNet 一般规模的 DNN 中验证这一假设。

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2018-02-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

嘿嘿,想变成会跳舞的小哥哥或小姐姐吗?超简单!

作者:Caroline Chan、Shiry Ginosar、Tinghui Zhou、Alexei A. Efros

9810
来自专栏机器之心

深度 | 最后一届ImageNet挑战赛落幕,「末代」皇冠多被国人包揽

选自LSVRC 2017 机器之心编译 参与:机器之心编辑部 近日,ImageNet 最后一届挑战赛成绩已经公布,多个国内院校和企业在各个比赛项目上取得了非常不...

37550
来自专栏YoungGy

构建聊天机器人:检索、seq2seq、RL、SeqGAN

本文将简要介绍聊天机器人的四种构建方法:检索、seq2seq、Reinforcement Learning、seqGAN。 ? 聊天机器人的现状 聊天机器人从应...

49590
来自专栏AI科技大本营的专栏

AI 技术讲座精选:机器学习中梯度下降算法(包括其变式算法)简介

前 言 无论是要解决现实生活中的难题,还是要创建一款新的软件产品,我们最终的目标都是使其达到最优状态。作为一名计算机科学专业的学生,我经常需要优化各种代码,以便...

35040
来自专栏机器之心

ECCV 2018 | 旷视科技提出统一感知解析网络UPerNet,优化场景理解

论文名称:《Unified Perceptual Parsing for Scene Understanding》

22720
来自专栏计算机视觉战队

从零基础成为深度学习高手——III

今天开始学习进阶的知识,有兴趣的您请继续阅读和学习: 深度学习之高手进阶 我们在进行深度学习的时候一般会按照这4个步骤进行。 ? 获取数据 很大程度上...

32660
来自专栏SIGAI学习与实践平台

理解牛顿法

牛顿法是数值优化算法中的大家族,她和她的改进型在很多实际问题中得到了应用。在机器学习中,牛顿法是和梯度下降法地位相当的的主要优化算法。在本文中,SIGAI将为大...

18120
来自专栏AI研习社

用 Hinton 的胶囊神经网络来识别空间关系 Part1: CNNs及其缺点

“普通的”卷积神经网络是当前机器学习领域最热的一个概念, 但是它也有一些问题,例如不能识别空间关系,比如说图片或其他数据里不同部分之间的相对位置关系。Hinto...

9120
来自专栏机器之心

深度 | SGD过程中的噪声如何帮助避免局部极小值和鞍点?

22950
来自专栏数据派THU

一文详解聚类和降维(附实例、代码)

来源:机器之心 作者:Vishal Maini 本文长度为3500字,建议阅读6分钟 本文对无监督学习的聚类和降维算法进行介绍,其中包括 K 均值聚类、层次聚类...

41780

扫码关注云+社区

领取腾讯云代金券