马斯克启动10万个H100 GPU组成的“全球最强大AI训练集群”

埃隆·马斯克通过Twitter/X宣布，人工智能初创公司xAI启动了位于田纳西州孟菲斯的所谓“全球最强大AI训练集群”，该集群由100000个Nvidia H100 GPU组成。

xAI的孟菲斯超级集群已经开始运行，这引发了关于为什么xAI没有等待更强大的或下一代GPU的问题。马斯克在推文中解释说，新的超级集群将“按每个指标训练世界上最强大的AI”。据推测，xAI的超级计算机集群将被用于Grok 3的训练。马斯克表示，改进后的LLM应该在“今年12月”完成训练阶段。

将孟菲斯超级集群的计算资源与最新的Top500列表进行比较，新的xAI孟菲斯超级集群在GPU性能方面明显超越了其他任何系统。例如，世界上最强大的超级计算机Frontier（37888个AMDGPU）、Aurora（60000个Intel GPU）和Microsoft Eagle（14400个Nvidia H100 GPU）似乎都被xAI的机器所超越。

xAI的投资规模巨大。根据Benzinga的一份报告，每块Nvidia H100 GPU的成本估计在30000至40000 美元之间。考虑到xAI使用了100000台 Nvidia H100，马斯克的AI初创公司似乎为该项目花费了约30亿至40亿美元。

值得一提的是，马斯克旗下的特斯拉已部署了约35000台NvidiaH100用于训练自动驾驶汽车，并使用其定制的Dojo芯片开发超级计算机。