英伟达宣布创造满血 DeepSeek-R1 模型 AI 推理性能的纪录

DoNews3月19日消息，英伟达在今日举行的 NVIDIA GTC 2025 上宣布其 NVIDIA Blackwell DGX 系统创下 DeepSeek-R1 大模型推理性能的世界纪录。

据介绍，在搭载了八块 Blackwell GPU 的单个 DGX 系统上运行 6710 亿参数的满血 DeepSeek-R1 模型可实现每用户每秒超 250 token 的响应速度，系统最高吞吐量突破每秒 3 万 token。

英伟达表示，随着 NVIDIA 平台继续在最新的 Blackwell Ultra GPU 和 Blackwell GPU 上突破推理极限，其性能将会继续不断提高。

英伟达表示，通过硬件和软件的结合，他们自 2025 年 1 月以来成功将 DeepSeek-R1 671B 模型的吞吐量提高了约 36 倍。

与 Hopper 架构相比，Blackwell 架构与 TensorRT 软件相结合可实现显著的推理性能提升。

英伟达表示，包括 DeepSeek-R1、Llama 3.1 405B 和 Llama 3.3 70B，运行 TensorRT 软件并使用 FP4 精度的 DGX B200 平台与 DGX H200 平台相比已经提供了 3 倍以上的推理吞吐量提升。

英伟达表示，在对模型进行量化以利用低精度计算优势时，确保精度损失最小化是生产部署的关键。在 DeepSeek-R1 模型上，相较于 FP8 基准精度，TensorRT Model Optimizer 的 FP4 训练后量化（PTQ）技术在不同数据集上仅产生微乎其微的精度损失。