The Brain vs Deep Learning（二）

--越来越艰难了，会涉及到大量生物学的知识，因为深度学习本来就是借鉴大脑的

Part II: The brain vs. deep learning — a comparativeanalysis

现在我将逐步解释大脑如何处理信息。 我将提到信息处理的步骤，这些步骤是很好理解的，并且得到了可靠证据的支持。 除了这些步骤之外，在生物学水平上有许多中间步骤（蛋白质和基因），其仍然未被了解但对于信息处理是非常重要的。我不会深入这些生物过程，但提供一个简短的概述，这可能有助于知识饥饿的读者深入这些内容。 我们现在从神经递质开始这个旅程，到释放神经元的神经元，并沿着所有的过程，直到我们到达下一个神经元释放其神经递质的点，使我们回到我们开始的地方。下一节介绍几个新术语，这是必要的，以跟随博客文章的其余部分，所以如果你不熟悉基本的神经生物学，请仔细阅读。

神经元使用轴突 - 一个管状结构 - 传输他们在大脑中的电信号的长延伸。当神经元激发时，它激发动作电位 - 电信号 - 沿着其轴突，分支成小端的树，称为轴突终端。在每个这些轴突终端的结尾位置一些蛋白质，将这个电信息转换回化学的：一个小球 - 称为突触小泡 - 充满一对神经递质每个被释放到神经元之外的区域，称为突触间隙 。 该区域将轴突末端与下一个神经元的开始（突触）分开，并允许神经递质自由移动以执行不同的任务。

突触最常见地位于看起来非常像树或植物的根的结构; 这是由树枝组成的树枝状树枝，树枝分支成较大的臂（这代表神经网络中的神经元之间的连接），臂最终到达细胞的核心，其称为胞体。这些树突几乎保持所有突触，其将一个神经元连接到下一个神经元，从而形成主要连接。 突触可以保持数百个神经递质可以与其自身结合的受体。你可以想象这种化合物的轴突末端和突触在树突，如（密集）输入层到卷积网络。每个神经元可以具有少于5个树突或多达几十万。 稍后我们将看到树状树的函数类似于卷积网络中的卷积层之后最大池的组合。

回到生物过程，突触囊泡与轴突终端的表面合并，并将自己从内向外将他们的神经递质洒入突触间隙。 在那里，神经递质由于环境中的温度而在振动运动中漂移，直到它们（1）找到适合其关键（神经递质）的配合锁（受体蛋白），（2）神经递质遇到分解它们的蛋白质，或（3）神经递质遇到蛋白质，将它们拉回轴突（再摄取），在那里它们被重复使用。 抗抑郁药主要通过以下方式起作用：（3）预防，或（4）增强神经递质5-羟色胺的再摄取; （3）防止再摄取将在几天或几周后产生信息处理的变化，而（4）增强再摄取导致在几秒或几分钟内的变化。 因此，神经递质再摄取机制对于minuteto minute的信息处理是整合的。 在LNP模型中忽略重摄取。

然而，释放的神经递质的量，给定神经递质的突触的数量和多少神经递质实际上使其在突触上形成拟合蛋白质的组合可以被认为是密集（完全）连接层中的权重参数的神经网络，或换句话说，对神经元的总输入是所有轴突 - 末端 - 神经递质 - 突触相互作用的总和。 数学上，我们可以将其建模为两个矩阵之间的点积（A点B; [所有输入的神经递质的量] dot [在所有突触上拟合蛋白质的量]）。

在神经递质已经锁定到突触上的拟合蛋白质之后，它可以做很多不同的事情：最常见的是，神经递质（1）打开通道，使带电粒子流动（通过扩散）到树突，也可导致具有巨大后果的稀有效应：神经递质（2）结合G蛋白，然后产生蛋白质信号级联，其（2a）激活（上调）基因，然后用于产生新蛋白质整合到神经元，其树突和/或其突触的表面; 其中（2b）警告现有的蛋白质在特定的位置（创建或删除更多突触，解锁一些入口，附加新的蛋白质到突触的表面）做一定的功能。这在NLP模型中被忽略。

一旦通道打开，带负电或带正电的粒子进入树突棘。 树突棘是一种小的蘑菇样结构，突触附着在其上。 这些树突棘可以存储电势，并有自己的信息处理动力学。这在NLP模型中被忽略。

Dendritic spines have their own internals informationprocessing dynamics which is largely determined by its shape and size.

可能进入树突棘的粒子的电荷带负电荷或带正电荷 - 一些神经递质仅为负粒子打开通道，其他只有阳性粒子。还存在使带正电荷的粒子离开神经元的通道，从而增加电势的负性（如果它变得太正则神经元“触发”）。蘑菇状树突棘的大小和形状对应于其行为。这在NLP模型中被忽略。

一旦颗粒进入脊柱，有很多事情他们可以影响。最常见的是，它们将（1）仅沿树突行进到神经元中的细胞体，然后，如果细胞获得正电荷（去极化），则它们诱导动作电位（神经元“激发”）。但其他行动也很常见：带电粒子直接积累在树突棘和（2）打开电压门控通道，可能使细胞进一步偏振（这是上述树突棘信息处理的一个例子）。另一个非常重要的过程是（3）树突尖峰。

Dendritic spikes

树枝状突起是已知的现象了，但是仅在2013年，这些技术已经发展到足以收集数据以显示这些尖峰对于信息处理是重要的。要测量树突尖峰，您必须借助计算机附加一些非常微小的夹子树突上，以精确移动夹具。 要想知道你的夹子是什么，你需要一个特殊的显微镜观察夹子，当你进展到树突。 即使那样，你大多数附加夹依然是一个相当盲目的事，因为在这么小的规模每一个运动是一个相当大的飞跃。世界上只有几个团队有设备和技能将这样的夹子连接到树突上。

然而，这些少数团队收集的直接数据足以建立树突峰作为重要的信息处理事件。 由于树突状尖峰引入神经元的计算模型，单个神经元的复杂性已变得非常类似于具有两个卷积层的卷积网络。正如我们在后面看到的，LNP模型也使用非常类似于整流线性函数的非线性，并且还使用非常类似于压降的尖峰发生器 - 因此神经元非常像整个卷积网。

树枝状突起发生在枝晶中达到临界水平的去极化时。 去极化作为沿树枝壁的电势放电，并且可以沿着其通过树枝状树的方式触发电压门控通道，并且最终，如果足够强，电势到达神经元的核心，其中它可以触发真正的潜在动作。如果树突尖峰未能触发动作电位，则相邻树突中的打开的电压门控通道可以恰好在稍后分裂的一秒钟。 由于从树突状尖峰打开的通道，更多带电粒子进入神经元，其然后可以在神经元细胞体（细胞）处触发（共同）或扼杀（罕见）完全动作电位。

A shows a computer model of a neuron that does not modeldendritic spikes; B models simple dynamics of dendritic spikes; C models morecomplex dynamics of dendritic spikes which takes into account the onedimensional diffusion of particles (which is similar to a convolutionoperation). Take note that these images are only snapshots in a particularmoment of time. A big thanks to Berd Kuhn.

此过程非常类似于max-pooling，其中单个大的激活“覆盖”其他相邻值。 然而，在树突状尖峰之后，相邻值不像在深度学习中所使用的最大值池（max-pooling）期间被重写，但是电压门控通道的打开大大放大树状树内所有相邻分支中的信号。 因此，树枝状突起可以将相邻树突中的电化学水平提高到更类似于最大输入的水平 - 该效果接近max-pooling。

实际上，显示视觉系统中的树突尖峰用于与用于对象识别的卷积网络中的最大合并是相同的目的：在深度学习中，最大合并用于实现（有限的）旋转，平移和尺度不变性（意味着我们的算法可以检测图像中的对象旋转，移动或缩小/放大几个像素的对象）。 可以认为该过程将所有周围像素设置为相同的大的激活，并且使得每个激活向下一层共享权重（在软件中，为了计算效率而丢弃这些值 - 这在数学上等同）。 类似地，显示视觉系统中的树突尖峰对对象的取向敏感。 所以树突状突起不仅具有计算相似性，而且在功能上具有相似性。

类比不会在这里结束。 在神经反向传播期间 - 即当动作电位从细胞体回到树突状树中时，信号不能反向传播到树突状分支中树状突起源头，因为这些是因为最近的电活动而“失活”。因此，将清楚的学习信号发送到未激活的分支。 起初，这似乎与用于max-pooling的反向传播完全相反，其中除了max-pooling激活之外的所有内容都被反向传播。 然而，树突中不存在反向传播信号是罕见的事件并且代表自身的学习信号。因此，产生树突尖峰的树突具有特殊的学习信号，就像max-pooling中的活化单元一样。

为了更好地了解树突峰是什么，它们看起来像什么，我非常想鼓励你观看这个视频（我没有版权，见原文连接）。 视频显示两个树突尖峰如何导致动作电位。树突状穗和动作电位以及树突状树的结构的这种组合已经被发现对于海马中的学习和记忆是至关重要的，所述海马是负责形成新记忆并在晚上将它们写入我们的“硬盘驱动器”的主要脑区域。

树枝状突起是计算复杂性的主要驱动因素之一，它们是从关于大脑复杂性过去的模型中遗漏出来的。 此外，这些新的发现表明，神经反向传播不必是神经元到神经元，以便学习复杂的功能; 单个神经元已经实现卷积网络并且因此具有足够的计算复杂度来对复杂现象建模。 因此，几乎没有必要跨越多个神经元的学习规则 - 单个神经元可以产生我们用创建的卷积网相同的输出。

但是关于树突尖峰的这些发现不是在我们的神经信息处理途径的这个阶段期间的信息处理步骤的理解中做出的唯一进展。 遗传操作和目标蛋白质合成是增加计算复杂性的数量级的来源。

Protein signaling cascades

正如我在这部分的介绍中所说的，我不会广泛地覆盖生物信息处理的部分，但我想给你足够的信息，以便你可以从这里开始学习更多。一个人必须理解的是，一个细胞看起来与在教科书中显示的不同。细胞用蛋白质传递信息：在任何给定的人类细胞中有大约100亿个蛋白质，并且这些蛋白质不是闲置的：它们与其他蛋白质组合，完成任务或抖动（ jitter）以找到新的任务。

上述所有功能都是蛋白质的功能。 例如，键锁机制以及为离开和进入神经元的带电粒子进出（play）守门者的通道都是蛋白质。我在这一段中所说的蛋白质不是这些常见的蛋白质，而是具有特殊生物学功能的蛋白质。例如，丰富的神经递质谷氨酸可以结合NDMA受体，然后为许多不同种类的带电粒子打开其通道，并且在打开后，通道仅在神经元激发时闭合。突触的强度高度依赖于该过程，其中突触根据NDMA受体的位置和反向扩散到突触的信号的定时进行调节。 我们知道这个过程对在大脑中学习至关重要，但它只是一个大的谜题中的一小块。

可以进入神经元的带电粒子能另外诱导蛋白质信号级联自身。 例如，下面的级联显示了活化的NMDA受体（绿色）如何使带电的钙CA2 +在其内部触发级联，最终导致AMPAR受体（紫色）被运输并安装在突触上。

再一次显示这些特殊的蛋白质对神经元中的信息处理具有很大的影响，但是难以从这种看似混乱的100亿个蛋白质的汤中挑出特定类型的蛋白质并研究其精确的功能。结果通常涉及许多不同蛋白质的复杂反应链，直到达到所需的最终产物或最终功能。 通常，开始和结束函数是已知的，但不知道从一个到另一个的确切路径。 复杂的技术大大有助于研究蛋白质，并且随着技术越来越好，我们将进一步理解神经元中的生物信息处理。

----未完待续