how we learn 学习笔记 2 学习的七个定义

第一章

你可能没有意识到,但是你的大脑已经获得了成千上万个外部世界的内部模型

这些心智模型的丰富性,在很大程度上是无意识的,超出了我们的想象。例如,你拥有一个巨大的语言思维模型，身体模型，各种外部交互模型（游戏、手机），

这些心理模型可以生成我们周围宇宙的超现实模拟

但是我们醒着的时候也会幻想现实:我们的大脑不断地向外界投射假设和解释框架。这是因为,在我们不知道的情况下,出现在我们视网膜上的每一幅图像都是模糊的

正是大脑的投射最终赋予了从我们的感官到达我们的数据流以意义。在没有内部模型的情况下,原始的感官输入仍然没有意义

定义1:学习是调整心智模型的参数

定义2 :学习是利用组合爆炸 （特征的层次组合）

人脑通过创建一个分层的、多层次的模型来解决学习问题。这在语言的情况下尤其明显,从基本的声音到整个句子甚至话语——但是同样的层次分解原理在所有的感觉系统中被复制。一些大脑区域捕捉低级模式:它们通过一个非常小的时空窗口来观察世界,从而分析最小的模式。例如,在初级视觉区域,即大脑皮层接收视觉输入的第一个区域,每个神经元只分析视网膜的很小一部分。它通过针孔来观察世界,结果发现了非常低层次的规律,比如移动斜线的存在。数百万个神经元在视网膜的不同点做同样的工作,它们的输出成为下一个层次的输入,从而检测“规律的规律”,等等。在每一个层次上,尺度都变宽了:大脑在越来越大的尺度上寻找时间和空间上的规律。从这个层次结构中,出现了检测日益复杂的物体或概念的能力:一条线、一根手指、一只手、一只手臂、一个人体...不,等等,两个人,两个人面对面,握手

定义3:学习就是减少错误

定义4:学习是探索可能性的空间 (局部最优)

定义5:学习是对奖励功能的优化 (DRL 对抗学习)

强化学习，对抗网络等；

定义6:学习限制了搜索空间

卷积网络使用了视觉的先验假设，缩小了搜索空间；

在学习之前,它已经知道了关于这个世界的一些重要的东⻄:同一个物体可以出现在图像的任何地方

定义7:学习是投射先验假设

先天和后天不应该对立。纯粹的学习,在没有任何先天约束的情况下,根本不存在。任何学习算法都以这样或那样的方式包含一组关于要学习的领域的假设。与其试图从零开始学习一切,不如依赖于先前的假设,这些假设清楚地描述了必须探索的领域的基本规律,并将这些规律集成到系统的架构中。先天假设越多,学习越快(当然前提是这些假设是19 正确的!).这是普遍的真理。

我们的大脑也是由各种假设塑造而成的。很快,我们会看到,在出生时,婴儿的大脑已经组织有序,知识丰富。他们含蓄地知道,世界是由只有在被推动时才会移动的东⻄组成的,它们之间从来没有相互渗透过(固体),而且它包含了许多自己说话和移动的陌生实体(人)。没有必要学习这些定律:因为它们在人类生活的任何地方都是真实的,我们的基因组将它们硬连接到大脑中,从而限制和加速学习。婴儿不必了解世界的一切:他们的大脑充满了先天的约束, 只有不可预测地变化的特定参数(如脸型、眼睛颜色、语调、周围人的个人品味)有待获得。

达尔文的选择实际上是一种学习算法——一个极其强大的程序,已经并行运行了数亿年,跨越了数十亿台学习机器(曾经生活过的每一种生物)。10我们是一种深不可测的智慧的继承人。通过达尔文的试错,我们的基因组已经内化了我们之前几代人的知识。这种天生的知识与我们一生中学习的具体事实是不同的类型:它要抽象得多,因为它使我们的神经网络偏向于尊重基本的自然法则。

基因建立了大脑的“超参数”: 指定层数、神经元类型、它们相互连接的一般形状、它们是否在视网膜上的任何点复制等的高级变量。因为许多这些变量储存在我们的基因组中,我们不再需要学习它们:我们的物种随着进化将它们内在化。

因此,我们的大脑不只是被动地接受感官输入。从一开始,它就已经拥有了一套抽象的假设,一种通过达尔文进化论的筛选而出现的积累的智慧,现在它投射到外部世界。并非所有科学家都同意这一观点,但我认为这是一个中心点:今天许多人工神经网络背后的天真的经验主义哲学是错误的。这根本不是真的,我们生来就有完全无组织的电路,没有任何知识,这些电路后来接受了它们所处环境的印记。人和机器的学习总是从一组先验假设开始,这些假设被投射到输入的数据上,系统从这些假设中选择最适合当前环境的假设。正如让-皮埃尔· 昌格在他的畅销书《神经元人》(1985)中所说,“学习就是消除。”

原书链接：https://www.amazon.com/gp/product/B07S1K4TB2/ 请阅读原文访问。

欢迎反馈