人工神经网络比我们想象得更类似于大脑

考虑下图的动物。 如果您识别出它，快速激活大脑中一系列的神经元，就会将其图像与其名称和您知道的其他信息（栖息地，大小，饮食，寿命等）联系起来。 但是，如果像我一样，您以前从未见过这种动物，那么现在您的脑子里就会遍历以往见过的各种动物，比如尾巴，耳朵，爪子，鼻子和其他所有特征，以确定该奇怪生物属于哪个。 您的生物神经网络正在重新处理您过去的经验和记忆以应对新情况和事物。

经过数百万年的进化磨砺，我们的大脑是非常高效的处理机器，将我们从感官输入中接收到的大量信息分类，并将已知的信息与它们各自的类别联系起来。

顺便说一下，那张照片是一只印度灵猫，是一种濒临灭绝的物种，与猫，狗和啮齿动物无关。 应该将其放在自己的单独类别中去。 现在，您有了一个新的存储类来放置它，下次再见到你可能一眼辨认出来。

尽管我们还没有学到很多关于大脑如何工作的知识，但我们正处于（或者可能仍处于起步阶段）创建自己的人类大脑版本的时代。 经过数十年的研究和开发，研究人员已经设法创建了深度神经网络，有时在特定任务中与人类的表现相匹配或超越。

但是，关于人工智能的讨论中反复出现的主题之一是，深度学习中使用的人工神经网络，是否类似于我们大脑的生物神经网络。 许多科学家认同，人工神经网络是对大脑结构的非常粗略的模仿，有些人认为，人工神经网络是统计推理引擎，不能反映大脑的许多功能。 他们相信，大脑包含许多超越生物神经元的联系和奇观。

最近发表在同行评审杂志《神经元》上的一篇论文挑战了人脑功能的传统观点。 这篇论文的标题为“直接适应自然：生物和人工神经网络的进化观点”，讨论了与许多科学家的看法，相反的人脑是一种蛮力大数据处理器，其参数适合于许多实例。  这种描述通常是针对深度神经网络的。

这份引人深思的论文由普林斯顿大学的研究人员撰写，对神经网络，人工神经网络及其生物学对应物之间的类比，以及创建功能更强大的人工智能系统的未来方向提供了不同的见解。

人工智能的可解释性挑战

神经科学家通常认为，大脑的复杂功能可以分解为简单的，可解释的模型。

例如，我可以解释我对灵猫图片的分析所经历的复杂的心理过程（当然，在我知道它的名字之前），例如：“它绝对不是鸟，因为它没有羽毛和翅膀。 当然不是鱼。 毛茸茸的外套可能是哺乳动物。 耳朵尖的人可能是猫，但脖子有点长，而且身体形状有些怪异。 鼻子有点像啮齿动物，但腿比大多数啮齿动物都要长……”，最后我得出的结论是，它可能是一种深奥的猫。 （以我的辩护，如果您坚持的话，那是猫科动物的远亲。）

但是，人工神经网络通常被视为无法解释的黑匣子。 他们没有提供有关决策过程的丰富解释。 当涉及由数百个（或数千个层）和数百万个（或数十亿个）或参数组成的复杂深度神经网络时，更加如此。

在训练阶段，深度神经网络会检查数百万张图像及其相关标签，然后盲目地将其数百万个参数调整为从这些图像中提取的模式。 然后，这些调整后的参数使它们可以确定新图像属于哪个类别。 他们不了解我刚才提到的更高层次的概念（脖子，耳朵，鼻子，腿等），只是在寻找图像像素之间的一致性。

《直接适应自然》的作者承认，生物和人工神经网络在其电路结构、学习规则和目标功能方面存在很大差异。

研究人员写道：“但是，鉴于网络的输入或环境，所有网络都使用迭代优化过程来追求目标，这一过程我们称为'直接拟合'。” “直接拟合”一词的灵感来自于进化过程中观察到的盲拟合过程，这是一种优雅而漫不经心的优化过程，在此过程中，不同的生物通过长期进行的一系列随机遗传转化来适应其环境。

作者写道，这个框架削弱了传统实验方法的假设，并出乎意料地与发展心理学和生态心理学中长期存在的争论产生了联系。

人工智能界面临的另一个问题是可解释性和泛化性之间的权衡。 科学家和研究人员一直在寻找可以在更大范围内推广AI功能的新技术和结构。 经验表明，对于人工神经网络，规模可以提高泛化性能力。 处理硬件的进步和大型计算资源的可用，性使研究人员能够在合理的时间内创建和训练大型神经网络。 事实证明，这些网络在执行复杂任务（例如计算机视觉和自然语言处理）方面具有显着的优势。

然而，人工神经网络的问题在于，它们变得越大，就会导致它们变得越不透明。 由于其逻辑分布在数以百万计的参数中，因此与为每个特征分配一个系数的简单回归模型相比，它们变得难以解释。 简化人工神经网络的结构（例如，减少层次或变量的数量）将使解释它们如何将不同的输入特征映射到其结果变得更加容易。 但是，较简单的模型也无法处理自然界中复杂而混乱的数据。

我们认为神经计算是建立在蛮力直接拟合基础上的，蛮力直接拟合依赖于过度参数化的优化算法来提高预测能力（泛化），而无需明确建模世界的基本生成结构。

人工智能的泛化问题

假设您要创建一个AI系统来检测图像和图片中的椅子。 理想情况下，您将为算法提供一些椅子图像，并且能够检测所有类型的正常以及古怪和时髦的图像。

这是人工智能长期以来追求的目标之一，创建可以很好地“外推”的模型。 这意味着，在给出问题域的一些示例的情况下，该模型应该能够提取基本规则，并将其应用于以前从未见过的大量新颖示例中。

当处理简单的（大多数是人工的）问题域时，可能可以通过将深层神经网络调整为一小组训练数据来达到推断水平。 例如，在具有有限特征（例如销售预测和库存管理）的域中，可以达到这种概括水平。 （但是正如我们在这些页面中所看到的，当环境发生根本性变化时，即使是这些简单的图像，AI模型也可能会崩溃。）

但是，当涉及到诸如图像和文本之类的杂乱无章的数据时，小数据方法往往会失败。 在图像中，每个像素有效地变成一个变量，因此分析一组100×100像素图像成为10,000个维的问题，每个维都有成千上万个可能性。

普林斯顿大学的研究人员写道：“在参数空间的不同部分，存在复杂的非线性和变量之间的相互作用的条件下，进行有限的数据推断必然会失败。”

许多认知科学家认为，人类的大脑可以依赖内隐生成规则，而不需要接触来自环境的丰富数据。另一方面，人们普遍认为，人工神经网络不具备这样的能力。

将神经网络直接拟合到问题域

本质上，有了足够的样本，您将能够捕获够大的问题域。 这样就可以通过简单的计算在样本之间进行内插，而无需提取抽象规则来预测超出训练示例范围的场景。

随着计算硬件的发展，过去十年来，非常大的数据集的可用性使人们可以创建直接拟合的人工神经网络。 互联网拥有来自各个领域的各种数据。 科学家从Wikipedia，社交媒体网络，图像存储库等创建大量的深度学习数据集。 物联网（IoT）的出现也使从物理环境（道路，建筑物，天气，身体等）的丰富采样成为可能。

在许多类型的应用程序（即监督学习算法）中，收集的数据仍然需要大量的体力劳动才能使每个样本与其结果相关联。 但是，尽管如此，大数据的可用性使直接拟合法可以应用于无法由少量样本和一般规则表示的复杂域。

超越系统：神经网络

然而，不可否认的一件事是，人类实际上确实从其环境中提取规则，并发展出用于处理和分析新信息的抽象思想和概念。 这种复杂的符号操作使人类能够比较和绘制不同任务之间的类比，并执行有效的转移学习。 理解和运用因果关系仍然是人脑的独特特征。

这些功能不是从单个神经网络的激活和交互中产生的，而是跨许多思想和世代积累的知识的结果。

Hasson和Nastase承认，这是直接拟合模型不足的领域。 从科学上讲，这称为系统1和系统2思维。 系统1是指可以通过死记硬背来学习的任务，例如识别人脸，行走，跑步，驾驶。 您可以在不知不觉中执行其中的大多数功能，同时还可以执行其他一些任务（例如，与他人同时走路和说话，开车和收听广播）。 但是，系统2需要专注和有意识的思考（您可以在慢跑时解决微分方程吗？）。

那么，我们需要开发具有系统 2功能的AI算法吗？ 这是研究界争论不休的领域。 包括深度学习先驱Yoshua Bengio在内的一些科学家认为，基于纯神经网络的系统最终将导致系统2级人工智能。 该领域的新研究表明，先进的神经网络结构体现了以前被认为是深度学习无法使用的符号操作能力。

专家称：尽管人类的思想激励着我们接触恒星，但这是建立在系统1的数十亿个直接拟合参数的基础上的。因此，直接拟合插值不是最终目标，而是起点 理解高阶认知架构的要点。 系统2不会从其他基质中产生。

另一种观点是创建混合系统，将经典的符号人工智能与神经网络结合起来。 在过去的一年中，该领域备受关注，并且有几个项目表明基于规则的AI和神经网络可以相互补充，以创建比其各个部分的总和更强大的系统。

专家表示：“将网络集成到体内，以使其能够与世界上的对象进行交互，对于促进在新环境中的学习非常必要。” “寻求一种语言模型来从文本语料库中的相邻单词中学习单词的含义，会使网络处于高度限制性和狭窄的环境中。 如果网络具有身体并且可以通过与单词相关的方式与对象和人进行交互，则可能会更好地理解上下文中单词的含义。 与直觉相反，在神经网络上强加这些“限制”（例如，身体）会迫使神经网络学习更多有用的表示。”（本文最初由Ben Dickson在TechTalks上发表）。

如果喜欢作者的给个关注支持一下呗，Victer感谢各位支持！

回首过去，我们思绪纷飞，感慨万千；立足今日，我们胸有成竹，信心百倍；展望未来，我们引吭高歌，一路欢笑。