比肩摩尔定律！英伟达提出"黄氏定律"！

当人们在争论摩尔定律在本世纪20年代是否会放缓、是否仍然适用、甚至是否已经走向尽头时，英伟达的科学家们却预示着令人印象深刻的“黄仁勋定律”。在过去十年中，英伟达GPU的人工智能处理能力据称增长了1000倍。黄氏定律意味着我们在“单芯片推理性能”中看到的增速不会逐渐消失，而是会继续出现。

英伟达上周五发表了一篇关于黄氏定律的博客文章，概述了黄氏定律背后的信念和工作实践。有趣的是，英伟达首席科学家比尔•戴利所描述的“后摩尔定律时代计算机性能的结构性转变”主要是基于人类的聪明才智。这一特征似乎有些难以预测，但戴利认为，下面这张令人印象深刻的图表标志着黄氏定律的开始。

根据戴利最近在Hot Chips 2023大会上的演讲，上图显示GPU AI推理性能在过去十年中增长了1000倍。有趣的是，与摩尔定律不同的是，工艺尺寸缩小对黄氏定律的进展几乎没有影响。

戴利回忆了如何通过改变Nvidia GPU的底层数字处理方式实现16倍的性能增益。另一个巨大的推动力是Nvidia Hopper架构的到来，此架构使用了Transformer Engine。据称，Hopper使用了8位和16位浮点数和整数计算的动态混合，实现了12.5倍的性能飞跃，同时还节省了能耗。

戴利最令人惊讶的说法之一是，人工智能推理性能的1000倍性能增加与工艺尺寸缩小的收益形成鲜明对比。在过去的十年里，随着英伟达GPU从28纳米工艺转向5纳米工艺，半导体工艺的改进“只占总收益的2.5倍”。

值得庆幸的是，戴利表示他和他的团队仍然看到了加速人工智能推理处理的“几个机会”，其中包括进一步简化数字的表示方式，在人工智能模型中创建更多的稀疏性，以及设计更好的内存和通信电路。