The Brain vs Deep Learning（一）

---这是一篇很有深度的文章，把深度学习和大脑做了比较，一步步分析，通俗却不简单。

ComputationalComplexity — Or Why the Singularity Is Nowhere Near

在这篇博文中，我将深入大脑并解释其基本的信息处理机制，并将其与深度学习进行比较。 我将解释与大脑的电化学和生物信息处理管道，这直接与卷积网络的架构相关。因此，我们将看到，神经元和卷积网络是非常相似的信息处理机器。 在进行这种比较时，我还将讨论这些过程的计算复杂性，从而得出脑的整体计算能力的估计。 我将使用这些估计以及高性能计算的知识，以表明在本世纪不会有技术奇点。

这篇博文很复杂的，因为它跨越了多个主题并将他们统一成一个连贯的思想框架。 我试图使这篇文章通俗，但我可能没有在文章所有地方做到。首先，我将简要概述关于技术奇点的预测和与之相一致的主题。然后我开始将大脑和深度学习之间的想法整合。 最后完成高性能计算的讨论，以及这一切如何与技术奇点的预测有关。

Part I: Evaluating current predictions of a technologicalsingularity

最近有许多关于预测人工智能将在2030年达到超人类智力头条，这可能预示着人类灭绝的开始，或至少戏剧性地改变日常生活。这个预测怎么样呢？

The problems with brain simulations

脑模拟是模拟由神经元发射的电信号和神经元之间的连接的大小。脑模拟从随机信号开始，整个系统根据被认为支配大脑中的信息处理步骤的规则而稳定。在运行这些规则一段时间之后，可以形成可以与大脑的信号进行比较的稳定信号。 如果模拟的信号类似于大脑的记录，这增加了我们的信心，我们选择的规则有点类似于大脑使用的规则。因此，我们可以在大脑中验证大规模信息处理规则。 然而，脑模拟的大问题是，这就是我们几乎可以做的所有了。

我们不知道这些信号是什么意思或具有地什么功能。我们不能用这种大脑模型测试任何有意义的假设，这个假设不是模糊的“我们的规则产生类似的活动”。缺乏精确的假设，这使得准确的预测（“如果活动是这样的，那么电路检测到地是一个苹果，而不是一个橙色”）成为欧洲脑模拟项目最响亮的批评之一。 大脑项目被许多神经科学家认为是无用的，甚至是危险的，因为它吸取了用于有用的神经科学项目地钱，比如神经信息处理。

另一个问题是这些脑模拟依赖于过时的，不完全的并且在神经信息处理中忽略许多生物部分的模型。 这主要是因为，大脑中的电信息处理可以被更好地理解。另一个更方便的原因是，当前模型已经能够重现所需的输出模式（这毕竟是主要目标），因此没有必要更新这些模型以更加像大脑。

总而言之，脑模拟的问题是：

• 不可能测试具体的科学假设
• 不能模拟真实的大脑处理（没有发射连接，没有生物相互作用）
• 不提供任何关于大脑处理的功能地洞察（模拟活动的意义无法评估）

最后一点是反对脑处理对强AI估计的有用性的最重要的论点。 如果我们可以开发出视觉系统的大脑模拟，例如MNIST和ImageNet数据集，这将有助于类大脑AI估计的进展。脑模拟依然是测试有关大脑中的信息处理的一般假设规则的有意义方法 - 没有什么比这更好的 - 但他们是没有意义的。任何依赖于脑模拟作为预测未来强大AI的证据，都应该以极大的怀疑态度来看待。

Estimating the brains computational complexity

正如在介绍中提到的，大脑复杂性的估计有十年之久了，许多新的发现使旧的估计过时。 我从来没有碰到一个估计是最新的。 在这样做的时候，我将主要关注电化学信息处理和忽略神经元内的生物相互作用，因为它们太复杂了（这篇博文已经很长了）。因此，在这里导出的估计可以被认为是复杂性的下限 - 它应该总是假设大脑比这更复杂。在构建这个复杂模型的过程中，我还将把模型中的每一步与深度学习的等价物相关联。这将让你更好地了解深度学习如何与之相关，以及深度学习真正与人类大脑相比有多快。

Defining reference numbers for the model

我们已经知道一些事实和估计可以帮助我们开始我们的模型建设：

• 大脑使用与深度学习非常不同的学习算法，但神经元的架构类似于卷积网络
• •成人大脑有86亿个神经元，约10万亿突触，约3000亿个树突（树突状结构与突触）
• 一个孩子的大脑有超过1000亿的神经元，突触和树突分别超过15万亿和1500亿
• 胎儿的大脑有超过一万亿个神经元;错位的神经元会快速死亡（这也是成年人的神经元比儿童少的原因）

Location of the cerebellum which contains roughly 3/4 ofall neurons and connections.

Location of the cerebrum; also referred to as “thecortex”. More precisely, the cortex is the outer layer of the brain, whichcontains most neurons of the cerebrum.

• 小脑，大脑的超级计算机，包含所有神经元的大约3/4（这个比率在大多数哺乳动物物种中是一样的）
• 大脑，“智力”的主要驱动程序，大约包含所有神经元的1/4
• 小脑中一般的神经元具有约25000个突触
• 大脑中一般的神经元具有约5000-15000个突触

神经元的数量广为人知; 突触和树突的数量只是在一定边界内知道，我在这里选择保守估计。每个神经元的一般突触在神经元之间非常不同，这里的数字是粗略的平均值。已知小脑中的大多数突触是在浦肯野神经元（Purkinje neurons）的树突和两种不同类型的神经元之间形成的，其与Purkinje的突触“攀登”或“交叉平行”。 已知Purkinje细胞每个具有约100000个突触。 因为这些细胞迄今在小脑中具有最大的重量，所以如果人们看着这些神经元和它们所产生的相互作用，人们可以最佳地估计脑的复杂性。

There are many hundreds of different types of neurons;here some of the more common neurons.

区分脑区域的复杂性和其功能重要性是重要的。虽然几乎所有的计算由小脑执行，但是几乎所有重要的功能由大脑（或皮层）进行。 皮质使用小脑产生预测，校正和结论，但是皮层积累了这些见解并对其起作用。对于大脑，已知的神经元几乎从未有超过50000个突触，并且与小脑不同，大多数神经元具有在5000-15000范围内的多个突触。

How do we use these numbers?

用于估计脑计算复杂度的常见方法是假定脑中所有信息处理可以由神经元激发时的脉冲（动作电位）和突触的大小（多数为受体）的组合来表示每个神经元。因此，估计的神经元及其突触的数量相乘，并将所有的相加。 然后将其乘以平均神经元的速率，其为每秒约200个动作电位。这个模型是Ray Kurzweil用来创建他的估计。 虽然这个模型几十年前是好的，但它不适合从现代观点来建模大脑，因为它放弃了很多重要的神经信息处理过程，而不仅仅是激发神经元。

更准确地近似神经元行为的模型是扩展的线性 - 非线性 - 泊松级联模型（LNP）。 扩展LNP模型当前被视为神经元如何处理信息的准确模型。然而，扩展LNP模型仍然放弃了一些细微的细节，比如被认为不重要的大规模脑功能模型。 实际上，将这些细节添加到模型中将几乎不增加计算复杂性，但是使得模型更加复杂，因此包括模拟中的这些细节将违反寻求为给理论找到最简单模型的科学方法。然而，这个扩展模型实际上非常类似于深度学习，因此我将在这里包括这些细节。

还有其他好的模型也适合这一点。 我选择LNP模型的主要原因是它非常接近深度学习。这使得这个模型完美神经元的架构与卷积网的架构进行了比较。

----未完待续