专栏首页量子位DeepMind新论文:用认知心理学方法打开深度学习的黑箱

DeepMind新论文:用认知心理学方法打开深度学习的黑箱

唐旭 李林 编译整理 量子位 出品 | 公众号 QbitAI

最近,DeepMind在Arxiv上发布了Interpreting Deep Neural Networks using Cognitive Psychology,将认知心理学的方法引入深度神经网络的研究。

这是DeepMind入选今年ICML(机器学习国际会议)的论文之一。在公开论文的同时,他们还在官方博客上对这篇论文做了介绍。

为什么要用认知心理学方法来研究深度神经网络呢?

我们经常在新闻中看到,深度神经网络的能力不断提升,在图像识别、语音识别以及玩各种游戏的能力上,一一超越了人类。

不过,随之而来的也是越来越复杂的架构,和越来越看不懂的决策过程。

也就是所谓的“黑箱”问题。

黑箱

现在,每次提到深度学习,“黑箱”这个词似乎如影随形。DeepMind的论文中说,“这种不透明性不仅阻碍了尝试提升这些模型的基础性研究,也影响了它们在实际场景中的落地。”

怎么打开这个黑箱,成了研究界关注的一大问题。很多团队想开发“可解释的人工智能”,让AI解释自己的行为。但是,Google工程总监、AI经典教材《人工智能:一种现代的方法》的第二作者Peter Norvig说,这根本就行不通

人类都不擅长不了自己,就别指望机器了。

DeepMind这篇论文,正是把研究人类心智这个大黑箱的方法,用到了深度神经网络上:通过测量神经网络的行为来推断内在的认知机制。

他们借用了一个用以说明人类认知过程的实验,来理解深度神经网络怎样解决图像分类任务。

形状偏好

DeepMind这篇论文,借用了发展心理学中研究儿童如何学习物体和词对应关系的方法,来分析深度神经网络。

认知心理学研究表明,人类儿童在将物体和词对应起来的过程中,存在三种偏好:

整体偏好:当你指着一个物体,说出一个词,孩子会假设这个词指的的整个物体,而非部件;

分类偏好:孩子会假设一个词指的是物体所属的基本类别;

形状偏好:孩子会假设一个名词的意思是基于物体的形状,而不是它的颜色或质地。

DeepMind借用的,是研究形状偏好的认知实验,因为认知心理学在这方面的研究最为丰富。

DeepMind测量深度神经网络的形状偏好所用的刺激物样本,由印第安纳大学认知发展实验室的Linda Smith提供

DeepMind所用的经典形状偏好实验过程如下:

1. 给深度神经网络看三个物体的图片:1)基本调查物体、2)形状匹配但颜色不匹配的物体、3)颜色匹配但形状不匹配的物体。

2. 比较神经网络在分配标签时,为物体1和2分配相同标签的次数,和为物体1和3分配相同标签的次数所占比例如何。

实验示意图

DeepMind的实验表明,深度神经网络和人类一样,具有“形状偏好”。

论文摘要

深度神经网络(DNN)在众多领域的复杂任务上都有着卓越的表现,它迅速地刷新着我们对于这些问题的认知。

过往的工作只着眼于推进我们对于这些模型的理解,但对于认知心理学家在这些问题上已有的描述、理论和实验方法,却没有加以充分利用。

为了发掘这些工具的潜在价值,我们选择了在发展心理学中一种用来“解释儿童如何学习物体和词对应关系”的固定分析方法,并将其应用到DNN上。

用和原有认知心理学实验类似的刺激物数据集进行测试,我们发现,那些在ImageNet上训练的、最好的单个样本学习(one shot learning)模型表现出了一种与在人类身上观察到的相似的偏好:它们更喜欢根据形状来对物体进行分类,而不是颜色。

在这种偏好的程度在架构相同但seed不同的模型上,会有非常大的差异,甚至会在训练过程中随着seed而波动,尽管它们最终在分类上的表现近乎相同。

这些结果证明了认知心理学工具在发掘DNN隐含计算属性上的能力,同时也为我们提供了一种用于人类字词学习的计算模型。

相关链接

论文地址: https://arxiv.org/pdf/1706.08606.pdf

博客文章: https://deepmind.com/blog/cognitive-psychology/

本文分享自微信公众号 - 量子位(QbitAI),作者:追踪AI产品和技术

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-06-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 什么是CNN?写给小白的机器学习入门贴,Facebook员工打造,47k访问量

    那是因为在图像分类时,面临着图像大,物体的形态、位置不同等问题,这就给普通的神经网络带来了难题。

    量子位
  • 最全中文leetcode解题攻略:思路知识点代码都有,搞定AI大厂笔试

    当代程序员的困惑可能大致分为两类:一是“35岁之后我该去往何处”,二是“如何才能进入互联网大厂工作”。

    量子位
  • 人机“心电感应”!人类可以预测神经网络的错误分类 | Nature子刊论文

    对抗图像是神经网络的顽敌,比如让AI错误检测路标信息、把乌龟认成步枪,都曾是对抗图像的“恶搞”。

    量子位
  • 从零开始学Web之HTML(二)标签、超链接、特殊符号、列表、音乐、滚动、head等

    文本倾斜:<em></em> <i></i> <!-- 工作里尽量使用em,原因同strong -->

    Daotin
  • Confluence 6 创建-使用-删除快捷链接

    在高级(Advanced )标签页中插入链接对话框。请参考 Links 页面中的内容获得更多信息。

    HoneyMoose
  • 【干货满满】贝塞尔曲线(Bézier curve)——什么神仙操作

    学习CSS的小伙伴应该会知道一个叫做animation-timing-function:cubic-bezier(x1,y1,x2,y2)的参数,用于CSS动画...

    小美娜娜
  • 微信开发中的前后端之坑

    内容摘要 前端是快速呈现与验证产品,并且尝试把这些优秀的交互体验做出来并去实现。在前端级产品的研发过程中,工程师如何去解决他们所遇到的痛点问题,又引发了哪些思考...

    IT大咖说
  • 从拜占庭将军问题看:区块链「 共识算法 」

    而由于地域上特殊原因,你们这10支军队不能集合在一起单点进攻,必须在分开的状态下同时包围攻击敌国。如果是单支军队单独进攻的话是毫无胜算的,除非有至少有6支军队同...

    奎哥
  • 卫星影像的AI分类与识别 线上Top1

    遥感影像解译,作为数字图像分析的一个重要组成部分,长期以来被广泛应用于国土、测绘、国防、城市、农业、防灾减灾等各个领域。随着机器学习技术的发展,如地表覆盖分类等...

    机器学习AI算法工程
  • Python3.0科学计算学习之绘图(一

    (1)  plot是标准的绘图库,调用函数plot(x,y)就可以创建一个带有绘图的图形窗口(其中y是x的函数)。输入的参数为具有相同长度的数组(或列表);或者...

    py3study

扫码关注云+社区

领取腾讯云代金券