算法向左，人工智能向右

人工智能（AI）已经成为了这个世界不可或缺的生产力，我们无论是叫外卖、导航甚至是网上交友，都离不开AI的帮助。

尽管AI仿佛无所不能，但它仍然有自己的“阿喀琉斯之踵”，那就是费用太过昂贵。

举个例子，要训练今天最炙手可热的自然语言模型GPT-3，预计将耗费3000亿次浮点操作，相当于在商业GPU（图形处理器）上投入至少500万美元。对于任何中小型企业来说，这都不是一个小数字。

在早期，电脑硬件和算法是一体的，早在上世纪50年代末期，康奈尔大学教授弗兰克·罗森布拉特设计了“马克一号”（下图） ，它被认为是史上第一台万用型电脑，主要用于研究原子弹。

随后，理论计算机学奠基人冯.诺伊曼提出了"普林斯顿结构"（下图），这是一种将程序指令存储器和数据存储器合并在一起的电脑设计概念结构，这为后来电脑的存储设备与CPU分开奠定了基础。

实话实说，普林斯顿结构相当牛，它不仅让制造通用电脑成为可能，同时令电脑可以编程，从而为人类打开了一扇新的大门。可以说冯.诺伊曼谱写了现代电脑的蓝图。

不过，普林斯顿结构仍然有一个致命缺点，那就是在CPU与存储器之间的流量，远小于存储器的容量，简单来说就是CPU计算速度不够快，而且很难提升。

学术界将这个缺点称为“冯·诺伊曼瓶颈"，正因为如此，那个时代很难发展什么人工智能。硬件的瓶颈使得早期神经网络过于肤浅，性能不佳。

一直到上世纪70年代这个问题才被解决，当时游戏开发者设计了最早期的GPU——ANTIC芯片，专门为Atari-8位电脑提供硬件控制的图形文字混合模式，以及其他视频效果的支持。

这种GPU使用了数千个计算核心，其并行性解决了冯-诺依曼瓶颈，从而使得GPU训练深层神经网络成为可能。时至今日，GPU已成为人工智能的标配硬件。

讽刺的是，自那以后，GPU硬件的发展相对缓慢，这是因为芯片制造商需要砸很多钱去升级换代，但回报不确定，因此安全做法是简单地优化矩阵乘法，这已经成为了行业现状。

谷歌研究员萨拉.胡克（Sara Hooker）说，早期的AI研究者只是不走运，因为CPU速度不够快，但GPU的出现让他们中了"硬件彩票"。

那么，为什么现代人工智能的费用如此昂贵？

一个简单的答案可能是硬件和算法不够匹配。举个例子，"深度学习之父"杰弗里·辛顿开发了一种新颖的电脑视觉方法——胶囊神经网络，令人惊讶的是，该算法在CPU上工作得很好，但在GPU和TPU(张量处理单元，是谷歌用来深度学习的专用集成电路）上表现不佳。

学者因此认为，机器学习陷入了困境，从长期看，硬件的停滞不前将将抑制AI创新。

那么，如果AI想要实现突破，它的未来在哪里？

萨拉.胡克表示，下一步突破可能需要一种完全不同的方式来建立世界模型，包括使用不同的硬件、软件和算法组合。”

有专业人士认为，由GPU和TPU支持的深度神经网络，尽管它们在今天的许多任务中表现出色，但从长远看可能并不是未来发展方向。

换句话说，对于下一代人工智能来说，光有厉害的算法是远远不够的，我们还需要在硬件上不断创新。