比A100性能高4.5倍！英伟达H100横扫AI推理基准测试

新智元报道  

编辑：武穆

【新智元导读】NVIDIA H100 Tensor Core GPU在MLPerf行业标准AI基准测试中首次亮相，创下了所有工作负载推理的世界纪录，提供的性能比上一代GPU高4.5 倍。

不久前，英伟达公布了旗下的芯片，在MLPerf行业标准AI基准测试的结果。

根据英伟达的说法，H100（又名 Hopper），提高了所有六个神经网络在每个加速器上的表现标准，比上一代的A100，性能高了4.5倍，创造了所有工作负载推断的世界纪录。

所谓的推理，不同于机器学习 (ML)。

机器学习是创建训练模型并让系统「学习」的，而推理是用于在一系列数据点上运行学习模型，并获得结果。

英伟达认为，这个测试结果确立了H100在单独服务器和离线场景下的吞吐量和速度方面的领先地位，如果用户想要最高性能的高级AI模型，H100是首选。

英伟达为何看重MLPerf测试的结果

MLPerf是一个行业标准基准系列，由图灵奖得主大卫·帕特森（David Patterson）联合谷歌、英伟达 、英特尔、Meta、浪潮等全球AI领军企业，以及来自哈佛大学、斯坦福大学等学术机构的研究人员创立。

MLPerf可为各种工作负载建模，包括自然语言处理、语音识别、图像分类、医学成像和物体检测等项目。

该基准测试很有用，因为它可以跨越从高端数据中心和云的机器到小规模的边缘计算系统，并且可以为各个供应商的产品提供一致的基准测试，哪怕并非所有子测试中的基准测试都由所有测试人员运行。

它还可以创建用于运行离线、单流或多流测试的场景，这些测试创建一系列 AI 功能来模拟完整工作流管道的真实示例（例如，语音识别、自然语言处理、搜索和推荐、文本转语音等）。

虽然许多厂商认为只运行部分测试(ResNet是最常见的)的结果，是芯片性能的有效指标，比完整的MLPerf更适用。

比如，在上面的图表中也能看到，许多被比较的芯片在MLPerf的其他组件中没有测试结果，因为厂商根本不打算测。

但MLPerf测试依然被业界广泛接受，如果能在MLPerf测试中取得不错的成绩，很少有人会质疑结果的准确性和权威性。

英伟达在市场上还处于领先地位吗？

此次，对于在MLPerf测试中取得的结果，英伟达还是比较满意的。

这意味着，很可能在今年年底之前，英伟达就会首次公开演示H100 GPU。

而且，H100 GPU将参与未来的MLPerf轮次进行训练。

H100能取得如此不俗的表现，部分要归功于英伟达的Transformer Engine。

Transformer Engine使用软件和定制的NVIDIA Hopper Tensor Core技术，旨在加速对由流行的AI模型构建块变压器构建的模型的训练。

这些张量核心可以应用混合的FP8和FP16格式，以显著加速Transformer的AI计算，这种加速有时是数量级的提升，从而最适合手头的任务。

Transformer Engine这样的工具，带来的优势是显而易见的：开发人员能够专注于解决方案，而不是试图为没有相应平台的系统进行低级硬件和相关代码优化。

更重要的是，Transformer Engine这样的工具，体现了英伟达的真正优势——平台方法。

英伟达的许多竞争对手，虽然能为市场提供芯片或系统，但英伟达已经建立了一个强大的生态系统，包括芯片，相关硬件以及针对其芯片和系统优化的完全稳定的软件和开发系统。

用英伟达方面的话说，本轮MLPerf测试上，有70多份参赛作品在NVIDIA平台上运行，例如，Microsoft Azure提交了在其云服务上运行NVIDIA AI的结果。

这表明，NVIDIA AI得到了业界最广泛的机器学习生态系统的支持。

事实上，英伟达的竞争对手英特尔以及高通都强调了平台方法。

而初创公司通常只支持开源选项，这些选项可能与主要供应商提供的功能水平不同。

此外，英伟达还针对特定细分市场优化了框架，为解决方案提供商提供了一个有价值的起点，使解决方案提供商能够以更少的工作量实现更快的上市时间。

而初创AI芯片供应商无法提供这种级别的资源。

当然，英伟达并非没有弱点。

比如，虽然英伟达展示了其芯片与标准英特尔x86处理器的比较，但它没有与英特尔新的Habana Gaudi 2芯片进行比较。

而Habana Gaudi 2芯片可能会显示出高水平的人工智能计算能力，可以接近或超过一些英伟达产品。

另外，英伟达可能不是所有细分市场的NO.1，特别是在低功耗细分市场，像高通这样的公司可能具有优势。

不过，尽管如此，由于英伟达仍然提供最广泛的产品系列，其对完整平台生态系统的重视，使其在人工智能竞赛中处于领先地位，并且竞争对手很难轻易取代。

参考资料：

https://venturebeat.com/ai/what-nvidias-new-mlperf-ai-benchmark-results-really-mean/ 

https://blogs.nvidia.com/blog/2022/09/08/hopper-mlperf-inference/