一个匪夷所思的真相：人类大脑或是高度并行的计算系统，与人工神经网络无本质差别

新智元报道

来源：techtalks

编辑：白峰

【新智元导读】经过数百万年的进化，我们的大脑已经非常高效了。现在的人工神经网络也展现出不俗的实力，但是一直饱受诟病没有人脑类似的推理能力。近日，普林斯顿大学的研究人员就指出，生物神经网络和人工神经网络竟然出奇的相似，人脑可能也是一个高度并行的计算系统！

人脑是如何识别麝香猫的？

看到下面这只动物，你的大脑会立刻提取出与它相关的信息(栖息地、大小、饮食、寿命等等)。但是，如果你从未见过这种动物，你的大脑则会快速遍历你见过的所有动物，比较它们的尾巴、耳朵、爪子、鼻子、鼻子等特征， 以确定这种奇怪的生物属于哪个物种。

其实，这是一只印度麝香猫，一种与猫、狗和啮齿类动物毫无关系的世界濒危物种。它是一个独立的物种，前段时间有网友在印度大街上发现了这种濒临灭绝的麝香猫。

虽然我们还没有了解大脑到底是如何工作的，但我们的大脑仍在不断自我创造。经过几十年的开发，研究人员创建了深层神经网络，在特定的任务达到甚至超过了人类的表现。

但是，用于深度学习的人工神经网络是否类似于我们大脑中的生物神经网络？这个问题困扰着无数人工智能的研究者。

许多人认为人工神经网络是对大脑结构的粗略模仿，人工神经网络只是个统计推理引擎，大脑的许多功能都没有。他们相信，大脑中充满了奇迹，而这些奇迹不仅仅是神经元之间的联系。

最近在同行评议期刊《神经元》(Neuron)上发表的一篇论文挑战了对人类大脑的传统认知。这篇题为《直接适应自然: 生物和人工神经网络的进化》的论文指出了一个相反的观点，即人类大脑是一个强大的大数据处理器，它的参数与跟人的经验相匹配，而这种描述通常用于深层神经网络。

这篇发人深省的论文出自普林斯顿大学的研究员哈森和纳斯塔斯，他们将人工神经网络和生物神经网络之间作了类比，提出了一个更有前途的人工智能研究方向。

人工智能真的不能解释吗？

神经科学家普遍认为，大脑的复杂功能可以分解成简单的、可解释的模型。

比如分析麝香猫图片的复杂心理过程(在你知道它的名字之前) ，它肯定不是一只鸟，因为它没有羽毛和翅膀， 当然也不是一条鱼。

考虑到这毛茸茸的皮毛，它可能是哺乳动物，它很可能是一只猫，因为它有尖尖的耳朵，但是它的脖子有点太长了，而且身体形状有点奇怪。鼻子有点像啮齿动物，但是腿比大多数啮齿动物都长... 最后得出结论，它可能是一种罕见的猫科动物。

人类的脑活动是可解释的。然而，人工神经网络常常被认为是无法解释的黑盒子。因为人工神经网络无法解释他们的决策过程，尤其是那些几千万甚至过亿参数的复杂深层神经网络。

在训练阶段，深度神经网络会检查数百万张图像及其相关标签，然后他们无意识地将数百万个参数调整到他们从这些图像中提取的模式。然后，这些经过调优的参数允许它们确定新的图像属于哪个类别。他们并没有理解人类才有的更高层次的概念(脖子、耳朵、鼻子、腿等等) ，只是寻找像素之间的共性。

哈森和纳斯塔斯承认，生物和人工神经网络——在其电路结构、学习规则和目标功能方面有很大的不同。

然而，这两种网络都使用迭代优化过程来追求一个目标，考虑到它们的输入或环境ーー这个过程我们称之为「直接匹配」。「直接匹配」这个术语的灵感来自于进化过程中观察到的盲目匹配过程，这是一个优雅但无意识的最优化过程，不同的生物体通过一系列随机的基因转换在漫长的时间里学会了适应环境。

现代人工智能面临的另一个问题是可解释性和泛化之间的权衡。科学家正在不断寻找新的技术和结构，希望它们有更好的泛化能力。

经验表明，当涉及到人工神经网络时，规模可以提高泛化能力。硬件的进步和大型计算资源使得研究人员能够在合理的时间框架内创建和训练非常大的神经网络。事实证明，这些网络在执行复杂任务如计算机视觉和自然语言处理方面，表现得非常出色。

而人工神经网络的问题在于，它们越大，就越不透明。由于它们的逻辑跨越了数百万个参数，不像简单的回归模型那么容易解释。

简化人工神经网络的结构(例如，减少网络层或参数的数量)将使人们更容易理解预测的结果。但是更简单的模型在处理自然界中复杂和混乱的数据方面的能力也更弱。

「我们认为，神经网络的预测是建立在蛮力直接拟合的基础上的，它依赖于过度参数化的优化算法来提升预测能力，而没有对世界的潜在生成结构进行明确的建模」。

关于这是一把什么椅子，人的推理表现要好于人工神经网络

假设你想创建一个椅子分类系统，可以在图像和视频中检测椅子。理想情况下，你可以提供一些椅子的图像，它能够检测出这是一把正常的还是古怪时髦的椅子。

这是人工智能长期追求的目标之一，即创造可以「推断」的模型，给定一些问题域的示例，模型能够提取基础规则，并将它们应用到从未见过的样本中。

当处理简单的(大部分是人工的)问题域时，通过一小组训练数据，就可能达到外推级别。例如，在销售预测和库存管理等功能有限的领域中，很容易实现。但是，当环境发生根本性变化时，即使是这些简单的人工智能模型也可能崩溃。

当涉及图片、文本之类的非结构化数据时，小数据方法往往会失败。在图像中，每个像素实际上变成了一个变量，因此分析一组100*100像素的图像变成了一个10,000维的问题，复杂性骤然升高。

论文写道: 「在参数空间的不同部分存在复杂的非线性关系时，小数据推断注定会失败。」

许多认知科学家认为，人类大脑可以依赖于内隐的生成规则，而无需接触到来自环境的丰富数据，而人们普遍认为人工神经网络没这种能力。

基于问题域的丰富采样或超越直接拟合的神经网络

研究人员指出: 「问题空间的密集抽样可以颠覆预测问题，将基于外推的问题转化为基于插值的问题。」

本质上，有了足够的示例，神经网络将能够捕获问题域中足够大的区域。这使得在样本之间进行插值成为可能，只需要简单的计算，而不需要提取抽象的规则来预测训练样本域之外的结果。

当数据结构是复杂和多维的时候，一个「盲目」的直接拟合模型，能够在现实世界的参数空间内进行插值预测，比传统的显式拟合模型更有效，因为后者无法解释数据中的大量变化。

外推法(左)试图从大数据中提取规则，并将它们应用于整个问题空间。插值(右)依赖于问题空间的丰富采样来计算样本之间的值。

在监督学习中 ，仍然需要大量人工标注的数据。尽管如此，大数据使得直接匹配方法有可能应用于复杂领域，而这些领域无法用少量样本和通用规则来表示。

ImageNet 等流行的训练数据集提供了数百万不同类型对象的图片， 但是由于大多数照片是在理想的光照条件下，从传统的角度拍摄的，基于这些数据集训练的深层神经网络无法识别这些非正常摆放的物体。

ImageNet vs reality

「无论是人类还是人工神经网络，都不善于推断他们从未经历过的环境。」

许多开发人员试图通过盲目地向训练数据集中添加更多的样本来使他们的深度学习模型更加健壮，希望能够覆盖所有可能的情况。这通常不能解决问题，因为采样技术不能扩大数据集的分布。

哈森和纳斯塔斯认为，通过为目前在尾部表现不佳的人工神经网络提供一个更加生态化的抽样机制来扩大插值区域是个不错的方法。

「长尾现象」在某种程度上是抽样缺陷。 但解决方案不一定只是更多的样本，也可以是生物有机体中更复杂的取样(例如寻求新鲜感)。

这一观察结果与人工神经网络最近的研究结果一致，即采用更多样化的抽样方法实际上可以提高计算机视觉系统的性能。

「我们经常高估生物神经网络的泛化能力，包括人类。但是大多数生物神经网络是相当脆弱的，比如海洋温度升高2度将对整个生态系统造成严重破坏」。

人类大脑或许是一个高度并行的计算系统

许多科学家批评人工智能系统依赖于非常大的神经网络，认为人类的大脑是非常节省资源的。大脑是一个三磅重的物质，只消耗10瓦多一点的能量，而深层神经网络通常需要兆瓦级功耗的服务器。

但是撇开硬件不谈，将大脑的组成部分与人工神经网络进行比较。最大的深层神经网络由几十亿个参数组成。

相比之下，人脑由大约1000万亿个突触组成，在量级上跟人工神经网络的参数量是相仿的。此外，大脑是一个高度并行的系统，因此很难将其功能与人工神经网络的功能相比较。

「虽然大脑受到线路和新陈代谢的限制，但我们还没明白大脑的计算机制，所以我们不能简单地认为人脑计算资源匮乏」。

另一个论点是，与人工神经网络相比，人类大脑的神经网络输入机制非常差，不具备摄取和处理大量数据的能力。这使得人类的大脑不可避免地学习新的任务而不是学习潜在的规则。

进入大脑的输入是很复杂的， 但是我们经常低估了我们处理的数据量。我们每年可能会接触到成千上万个样本，每个类别可能会在每次接触中被取样很多次，所以视觉系统输入的数据量也是相当惊人的。

超越系统1的神经网络是人工智能的关键所在

然而，有一件事是不可否认的，人类确实从环境中提取规则，用来处理和分析新的信息。这种复杂的符号操作使人类拥有了迁移学习的能力。

理解和应用因果关系仍然是人类大脑的独特优势。现在的人工智能科学家也在极力寻找这种理解机制，一旦被找到将会是人工智能的重大突破。

毫无疑问，人类可以超越现代人工神经网络的方式学习抽象的规则，并推断出新的情境。微积分就是在复杂环境中抽象出普适规律的最好例子。这些能力并非来自单个神经网络的激活和交互作用，而是许多头脑和几代人积累的结果，这是直接拟合的模型无法做到的。

从科学的角度来说，这种能力是由被称为系统1和系统2的两种思维决定的。

系统1指的是那些可以通过死记硬背来学习的任务，比如识别面孔，走路，跑步，开车。你可以在潜意识中完成这些能力中的大部分，同时还可以完成其他任务(例如，边走边和别人说话，边开车边听收音机)。而系统2则需要集中注意力和有意识的思考(你能在慢跑的时候解决微分方程问题吗?)

那么，我们如何来开发具有系统2功能的 AI 算法呢？这是一个有很多争论的领域，包括深度学习先驱Bengio在内的一些科学家认为，纯粹的基于神经网络的系统最终会达成系统2级别的人工智能，先进的神经网络结构已经表现出不错的符号操纵能力。

「虽然人类的思想激励着我们去触摸星星，但它是建立在系统1无意识的数十亿拟合参数之上」。因此，直接拟合不是最终目标，而是理解高阶认知结构的起点。

另一种观点是创建混合系统，即将经典符号人工智能与神经网络结合起来， 这一领域在过去一年中引起了广泛关注，基于规则的人工智能和神经网络相互补充创造出了更强大的系统。

「尽管非神经符号计算——类似于冯 · 诺依曼的控制单元和算术逻辑单元模型——本身就很有用，而且可能在某种程度上与描述有关，但人类系统2是生物进化的产物，是从神经网络中产生的。」

哈森和纳斯塔斯对一些组件进行了扩展，这些扩展可能帮助神经网络发展出更高级的能力。他们还提了一个有趣的建议，给神经网络一个身体，让它像其他生物一样体验和探索世界。

「将一个网络整合到一个身体中，使其能够与世界上的物体进行互动，这对于促进在新环境中学习是必要的。」

要求一个语言模型从文本语料库中的相邻词汇中学习词义，使网络暴露在一个高度限制性和狭窄的语境中。如果这个网络有一个身体，并且能够以一种与单词相关的方式与物体和人进行互动，那么它就有可能在上下文中对单词的意思有更好的理解。

比如word2vec词向量模型正是施加了这些「限制」，从而迫使神经网络学习到了更多有用的表示。

这么看来，生物神经网络和人工神经网络相似度可能远超我们的认知，只是有些机制尚未被发现。

参考链接：

https://bdtechtalks.com/2020/06/22/direct-fit-artificial-neural-networks/