人工智能模型很强大，但它们在生物学上合理吗？

一项连接神经科学和机器学习的新研究，提供了对星形胶质细胞在人脑中潜在作用的见解。

人工神经网络是一种无处不在的机器学习模型，可以通过训练来完成许多任务，之所以被称为人工神经网络，是因为它们的架构受到了人类大脑中生物神经元处理信息方式的启发。

大约六年前，科学家们发现了一种新型的更强大的神经网络模型，称为“Transformer”。这些模型可以获得前所未有的性能，例如通过从提示符生成文本，其准确度接近人类。Transformer是人工智能系统的基础，例如ChatGPT和Bard。Transformer虽然非常有效，但也很神秘：与其他受大脑启发的神经网络模型不同，目前尚不清楚如何使用生物组件构建Transformer。

现在，麻省理工学院、麻省理工学院-IBM沃森人工智能实验室和哈佛医学院的研究人员提出了一个假说，可以解释如何利用大脑中的生物元素来建造Transformer。他们提出，由神经元和其他被称为“星形胶质细胞”的脑细胞组成的生物网络，可以执行与Transformer相同的核心计算。

最近的研究表明，星形胶质细胞是大脑中大量存在的非神经元细胞，与神经元交流，并在一些生理过程中发挥作用，如调节血液流动。但是，科学家们仍然对这些细胞在计算上的作用缺乏清楚的了解。

这项新研究本周以开放格式发表在《美国国家科学院院刊》上，研究人员从计算的角度探索了星形胶质细胞在大脑中的作用，并构建了一个数学模型，展示了如何利用星形胶质细胞与神经元一起，构建一个生物学上合理的Transformer。

他们的假设为未来的神经科学研究提供了启发，研究人类大脑是如何工作的。与此同时，它还可以帮助机器学习研究人员解释为什么Transformer在各种复杂任务中如此成功。

麻省理工学院- IBM沃森人工智能实验室的研究人员、该研究论文的资深作者德米特里·克罗托夫（Dmitry Krotov）表示：“大脑甚至比我们开发的最好的人工神经网络都要优越得多，但我们并不真正知道大脑是如何工作的。思考生物硬件和大规模人工智能网络之间的联系具有科学价值。这是人工智能的神经科学，也是神经科学的人工智能。”

与克罗托夫一起撰写这篇论文的主要作者是麻省理工学院大脑与认知科学系的博士后利奥·科扎奇科夫（Leo Kozachkov）；以及哈佛医学院神经生物学助理教授、马萨诸塞州综合研究所助理研究员克塞尼亚·v·卡斯塔宁卡（Ksenia V. Kastanenka）。

生物学上的不可能性变得合理

Transformer的运作方式与其他神经网络模型不同。例如，经过自然语言处理训练的循环神经网络，会将句子中的每个单词与由前一个单词确定的内部状态进行比较。另一方面，Transformer会同时比较句子中的所有单词，从而产生预测，这一过程被称为“自注意机制（self-attention）”。

克罗托夫解释说，为了让自注意机制发挥作用，Transformer必须以某种形式的记忆保存所有的单词，但由于神经元的交流方式，这在生物学上似乎是不可能的。

然而，几年前，研究一种稍微不同类型的机器学习模型（称为密集关联记忆）的科学家意识到，这种自注意机制可能也会发生在大脑中，但前提是至少三个神经元之间存在通信。

利奥·科扎奇科夫说：“数字3真的让我眼前一亮，因为在神经科学中，这些被称为星形胶质细胞的细胞不是神经元，它们与神经元形成三向连接，即所谓的‘三方突触’。”

当两个神经元交流时，一个突触前神经元会将一种叫做“神经递质”的化学物质传递给连接它和突触后神经元的突触。有时，星形胶质细胞也连接在一起，它在突触周围缠绕着一个又长又细的触手，形成一个三部分的突触。一个星形胶质细胞可以形成数百万个三方突触。

星形胶质细胞收集一些神经递质，这些神经递质流经突触连接处。在某种程度上，星形胶质细胞可以向神经元发出信号。因为，星形胶质细胞的运作时间比神经元长得多，它们是通过缓慢地提高钙反应然后降低钙反应来产生信号的，这些细胞可以保存并整合神经元传递给它们的信息。克罗托夫说，通过这种方式，星形胶质细胞可以形成一种记忆缓冲。

“如果你从这个角度考虑，那么星形胶质细胞对于我们需要在Transformer内执行注意力操作的精确计算来说，是非常自然的，”克罗托夫补充说。

构建神经元-星形胶质细胞网络

有了这个见解，研究人员形成了他们的假设，即星形胶质细胞可以在Transformer的计算中发挥作用。然后，他们着手建立一个“神经元-星形胶质细胞网络”的数学模型，该网络将像Transformer一样运行。

他们采用了组成Transformer的核心数学，并基于对文献的深入研究和神经科学家合作者的指导，开发了星形胶质细胞和神经元在大脑中交流时的简单生物物理模型。

然后，他们以某种方式将这些模型结合起来，直到得出一个描述Transformer自注意机制的神经元-星形胶质细胞网络方程。

通过他们的分析，研究人员表明，他们的生物物理神经元-星形胶质细胞网络理论上与Transformer相匹配。此外，他们还进行了数值模拟，将图像和文本段落输入Transformer模型，并将其与模拟的神经元-星形胶质细胞网络的反应进行比较。两者都以相似的方式回应提示，证实了他们的理论模型。

罗格斯大学计算机科学副教授康斯坦丁诺斯·米米佐斯（Konstantinos Michmizos）并没有参与这项工作，但他对此表示：“在一个多世纪的大脑记录中，星形胶质细胞一直保持着沉默，是大脑中最丰富、但探索最少的细胞之一。释放我们大脑另一半的计算能力的潜力是巨大的。这项研究开启了一个引人入胜的迭代循环，从理解智能行为如何真正出现在大脑中，到将颠覆性假设转化为展示类似人类智力的新工具。”

研究人员的下一步，是实现从理论到实践的飞跃。他们希望，将模型的预测与生物实验中观察到的结果进行比较，并利用这些知识来完善或可能反驳他们的假设。

此外，他们的研究还暗示，星形胶质细胞可能与长期记忆有关，因为网络需要存储信息，以便将来能够对其采取行动。克罗托夫说，进一步的研究可以进一步调查这个想法。

利奥·科扎奇科夫博士总结道：“由于很多原因，星形胶质细胞对认知和行为极其重要，它们的运作方式与神经元根本不同。我对这篇论文最大的希望是，它能催化计算神经科学领域对神经胶质细胞，特别是星形胶质细胞的一系列研究。”

如果朋友们喜欢，敬请关注“知新了了”！