智能 | #14 从图灵机到人工神经网络

文 | HW君

本文目录：

  1. 人工神经网络

  2. 并行图灵机

  3. 复杂系统

1. 人工神经网络

1943年，麦卡洛克（McCulloch）和皮茨（Pitts）发表了《神经活动中固有观念的逻辑演算》（A Logical Calculus of the Ideas Immanent in Nervous Activity）。

这篇文章提出了一种数学模型，可以模拟生物神经元的行为。

这个模型后来被称为「MP神经元」（McCulloch-Pitts 神经元），由它可以构建一个人工神经网络。

在论文中，他们证明了一个足够复杂的神经网络，可以实现所有的布尔逻辑运算。

这意味着人工神经网络理论上可以执行任何可计算的函数。

而在适当的假设下，人工神经网络可以等效于图灵机，即它是图灵完备的。

那么这带来了两个可能性。

一个就是，所有的通用计算机都可以模拟人工神经网络，因为它们在数学上都是图灵机。

另一个是，人工神经网络也可以模拟图灵机，因此它可以实现所有的复杂通用计算任务。

这是一篇划时代的论文。

它是生物神经科学、计算机科学和人工智能交汇点上的一个重要里程碑，将生物神经系统与数学计算理论联系在一起。

这是现代人工智能神经网络理论的开山之作。

2. 并行图灵机

我们花了很多的篇幅介绍图灵机，为的就是引出以下的论述：

计算机是图灵机。

人类是图灵机。

神经网络是人类和计算机之间的桥梁，它也是一种图灵机。

图灵为了对希尔伯特判定问题中「机械过程」进行精确定义，将计算的步骤极致地简化细分。

因此他所设计的串行图灵机只有一条纸带和一个读写头，每次只读写一个字符，并移动一格。

图灵宣称，这样的一台设备就能模拟人类所能进行的任何计算过程。

并且他也证明了，这样简单的串行图灵机和有N条纸带或移动N格的并行图灵机之间在数学上是等价的，可以互相模拟。

例如一次跑1条纸带的串行图灵机，和一次跑N条纸带的并行图灵机，两者是互相等价的，可以互相转换。

只不过，如果读写每格的时间相同，那么单条纸带的串行图灵机需要花上N倍的时间。

所以实际上我们可以在不那么严格的意义上，把人工神经网络看做是一种能瞬间并发执行多个步骤的特殊并行图灵机。

这是生物自然演化的方向，一次处理一个信号的串行图灵机效率实在是太低了。

只有能同时并发处理大量数据的并行图灵机，即神经网络，才能够在自然选择之中获得优势。

3. 复杂系统

从图灵机到神经网络，从简单的串行系统到复杂的并行系统。

正对应着标题，本系列也到了一个阶段性的节点。

后续的文章难以维持单一的清晰主线，而是会围绕着人工智能的多条线索并行前进。

（本章节完，敬请期待下一节）

By HW君 @ 2025-02-07