大模型与AI底层技术揭秘 (2) 人妖之间的国度

“……应该说，美国是一个美丽的国家。可是它不应该像现在这样，动不动就要欺负你……”

“让你就想对它大喊一声：No！去xx的！”

“我就是咽不下这口气！”

这是电影《横空出世》的经典台词。

二战后的某超级大国，在宣称自由主义价值观的同时，实践中却奉行以奴役他人为目的的右翼政经路线，一方面对内迫害同情共产主义的各界人士，包括美国的两弹元勋奥本海默等人，一方面对外侵略讹诈，甚至多次使用核讹诈的下作手段。他们彻底背叛了五月花号带去新大陆的新教伦理，沦为了人妖之间的虚伪小人。

与此同时，另一代表进步与革命势力的超级大国，在二战后逐步蜕变为修正主义国家，背离了马克思与列宁指出的公平公正道路，肆意霸凌社会主义阵营其他国家，对中国提出非分的主权方面要求，从原来的屠龙少年向恶龙转变。1959年6月，苏联单方面撕毁协定，撤回专家，中央决定集中力量研制“两弹”。科学家和工程师们离开城市，隐姓埋名，一头扎进荒无人烟的大漠，日以继夜地开始计算和实验。

描述原子弹原理的数学模型叫核裂变模型，它的核心是Langevin方程，是一个随机微分方程：

其中，η(t)为服从高斯分布的一个随机数。

(黑板上的数学公式是错的)

美国为了得出这个方程的解，请来了大数学家冯·诺依曼，与总工程师约翰·莫希利合作，设计出了第一台电子计算机ENIAC来解决了这一问题。而中国当时虽然拥有自行研发的电子计算机，但性能低下，且还需要用于计算导弹研发等其他任务。

因此，研究原子弹的科学家和工程师们只好找出了老祖宗五千年的智慧结晶，单词表中的第一个单词——Abacus。

正巧，大家发现苏联专家留下的一个公式算出来的数据，与中国自己计算的数据是有较大差异的，在群策群力后，原子弹研究队伍决定，用计算机和算盘同时计算。1961年底，九次计算的结果对比证明，苏联专家的数据是错误的，中国人自己建立的数学模型和计算结果都是准确的！

1964年10月16日，中国第一颗原子弹的爆轰成为了赫鲁晓夫下台的礼炮，也有力回击了美国对南海领空的多次挑衅和侵犯。

小H看完《横空出世》电影后，突然想到，使用算盘计算Langevin方程，是典型的并行计算的场景！

由于Langevin方程中，重要的参数η(t)是一个随机数，得出这个方程的数值解需要使用蒙特卡洛方法，也就是计算充分多的次数，把随机输入代入方程，最终得到一个与数学期望偏差足够小的均值。这与小H在上一期遇到的插值回归问题，本质上是高度类似的，都是可以将看似复杂的数学运算，分解为较为简单的重复运算，再进行归并，得到最终的结果。

对于这一问题，拥有先进的电子计算机的美国和苏联的思路是使用电子计算机，一次性计算出结果。而中国在使用计算机运算的同时，还发动群众使用古老智慧的工具并行运算，进行对比检验，加速了研究进程，避开了思路方面的陷阱。

借鉴这个思路，为了解决AI算法相关的海量数据计算问题，一个思路就是，用具有并发运算能力的硬件处理器，代替传统串行执行的CPU，来加速AI相关的简单重复运算，也就是找来一大批会打算盘的人民群众，减轻(当时)昂贵的计算机以及科学家的工作负担。

Intel的思路是在CPU中集成这样的并行运算单元，也就是所谓的SIMD(Single Instruction Multiple Data，单指令多数据)。1997年，Intel推出了MMX(Multiple Media eXtension)指令，并在P55C （商品名为Pentium MMX)这一代处理器中支持。

MMX指令使用了8个新引入的MMX寄存器MM0-MM7，每个寄存器为64bit，可以拆分为8个INT8，4个INT16或2个INT32。单条MMX 指令可以在2个指令周期内运算2个MMX寄存器的算术运算。这对于当时火热的计算机多媒体应用，如MP3播放(傅里叶逆变换算法)，MPEG解压(离散余弦逆变换算法、YUV到RGB转换)，JPEG图像算法(颜色变换，DCT和霍夫曼编码等)，起到了显著的加速作用。在Intel Pentium MMX处理器上运行的多媒体类应用，其CPU占用率显著降低，视频播放也更为流畅。

然而，MMX指令仅支持整数运算。对于当时开始兴起的另一类应用——3D游戏，则显得力不从心。

上图是《古墓丽影2》的截图。游戏海报中美丽的女战士劳拉，在游戏画面中变成了几何图形块的组合，色彩也非常丑陋。这是因为，当时的计算机硬件，无法在1/30秒的时间中，基于较为完美的3D模型计算出屏幕上每一个像素的24-bit真彩RGB，妥协的方案是大大简化女战士劳拉的3D模型，用直线代替曲线，并用256色或16bit的64K色代替24-bit真彩色。

1997年，一家叫3dfs的公司推出的产品改变了这一切。3dfs的革命性产品叫做Voodoo。Voodoo内部具有专用的并发计算电路，可以通过专用硬件，计算3D模型中的三角形投影到平面后，平面上各个像素的RGB值。经测试，Voodoo卡每秒最多可以计算400K个三角形，如果每帧画面由10K个三角形组成，Voodoo卡就可以实现40帧/每秒的画面生成。很快，市场上又出现了NVidia的Riva 128等竞争产品。在激烈的市场竞争中，最终NVidia成为了赢家，其Geforce256产品的晶体管数量已经超过了当时主流的CPU Intel Pentium-III，而NVidia也基于这一产品提出了一个新概念：GPU(Graphics Process Unit) 。

那么，GPU是如何跳出图形及多媒体领域，用于通用计算的呢？