DeepSeek V4长上下文推理与NVIDIA Blackwell架构

DeepSeek刚刚发布了其第四代旗舰模型，包括DeepSeek-V4-Pro和DeepSeek-V4-Flash，两者均旨在实现高效的百万令牌上下文推理。

DeepSeek-V4-Pro是该系列中最大的模型，拥有1.6万亿总参数和490亿激活参数。DeepSeek-V4-Flash是一个较小的2840亿参数模型，拥有130亿激活参数，专为更高速度、更高效率的工作负载而设计。两个模型均支持高达100万令牌的上下文窗口，为长上下文编码、文档分析、检索和代理式AI工作流开启了新的可能性。

规格 | DeepSeek-V4-Pro | DeepSeek-V4-Flash

| ---

模态 | 文本 | 文本

总参数 | 1.6万亿 | 2840亿

激活参数 | 490亿 | 130亿

上下文长度 | 100万令牌 | 100万令牌

最大输出长度 | 通过API可达38.4万令牌 | 通过API可达38.4万令牌

主要用例 | 高级推理、编码、长上下文代理 | 高速效率、聊天、路由、摘要

许可协议 | MIT | MIT

面向长上下文推理的架构创新

V4系列构建于DeepSeek MoE架构之上，更加注重优化Transformer架构中的注意力组件。与DeepSeek-V3.2相比，这些创新旨在实现每令牌推理FLOPs降低73%，KV缓存内存负担降低90%。

这之所以重要，是因为长上下文正成为代理式应用的核心要求。代理存储的不只是单个提示和响应。它们在工作流中携带系统指令、工具输出、检索到的上下文、代码、日志、记忆以及多步推理轨迹。随着上下文窗口的增长，注意力和KV缓存成为主要瓶颈。

图1：DeepSeek-V4混合注意力架构概述。通过结合CSA、DSA和HCA，该模型在标准Transformer块内显著降低了KV缓存内存占用和计算开销

解决这一挑战的核心架构方案是混合注意力，它融合了以下两种机制：

• 压缩稀疏注意力（CSA）：利用动态序列压缩来压缩KV条目，以减少KV缓存内存占用，然后应用DeepSeek稀疏注意力（DSA）来稀疏化注意力矩阵并降低计算开销。
• 重度压缩注意力（HCA）：通过将多组令牌中的KV条目合并为单个压缩条目，实施更激进的压缩，从而显著减小KV缓存大小。

DeepSeek-V4的架构创新标志着从基础聊天向多轮、长上下文推理和代理式系统的转变。这种新范式对整个技术栈——软件、内存、计算和网络——提出了更高要求，从根本上改变了推理经济学的动态。随着开放模型接近智能前沿，企业的关注点正从模型选择转向基础设施策略。在这一背景下，最终的竞争优势是以最低的令牌成本部署和扩展这些高性能模型的能力。

开箱即用的NVIDIA Blackwell性能洞察

无论开发人员是部署1.6万亿参数的Pro模型用于高级推理，还是部署2840亿参数的Flash模型用于高速效率，Blackwell都为百万令牌长上下文推理和万亿参数智能的新时代提供了所需的规模性和低延迟性能。

NVIDIA Blackwell平台专为此类工作负载而构建。在NVIDIA GB200 NVL72上对DeepSeek-V4-Pro进行的开箱即用测试显示，每用户每秒超过150个令牌。除了这些初步测试，NVIDIA团队还利用vLLM的NVIDIA Blackwell B300 Day 0配方，在帕累托边界上生成了开箱即用性能的快照。

图2：DeepSeek-V4-Pro在NVIDIA Blackwell B300上的开箱即用性能。结果基于1K/1K ISL/OSL配置，使用模型原生的MXFP4格式

随着对整个极致协同设计栈（Dynamo、NVFP4、优化的CUDA内核、先进的并行化技术等）的优化，预计这一性能将进一步提升。

使用NVIDIA GPU加速端点进行构建

开发人员可以通过NVIDIA Developer Program的一部分，在build.nvidia.com上借助NVIDIA GPU加速端点开始使用DeepSeek V4进行构建。托管的端点为在转向自托管部署路径之前，使用最新模型进行原型设计提供了一种快速方式。

DeepSeek V4也可通过NVIDIA NIM在Day 0下载，以便部署以构建长上下文编码、文档分析和代理工作流，使用熟悉的API模式。

使用SGLang部署

SGLang为DeepSeek-V4在NVIDIA Blackwell和Hopper上提供了三种主要的服务配方，每种配方针对不同的延迟/吞吐量特性（低延迟、均衡和最大吞吐量），以及针对长上下文工作负载和预填充/解码分离的专门配方。

使用vLLM部署

vLLM为NVIDIA Blackwell和Hopper提供了DeepSeek-V4单节点和多节点服务配方，包括可扩展至100多个GPU的多节点预填充/解码分离配方，并支持工具调用、推理和推测解码。

驱动代理工作流

DeepSeek V4特别适合代理，因为它在长上下文编排、推理和工具调用方面表现出色。开发人员可以将DeepSeek V4配置为大语言模型：

• NVIDIA NemoClaw：在安全的OpenShell环境中运行OpenClaw，创建一个由DeepSeek V4驱动的长期运行的个人助手，用于代码生成、个人助理、自主支持等任务。
• NVIDIA AI-Q蓝图：该蓝图提供了一流的深度研究助手。该蓝图基于LangChain Deep Agents，具有可扩展性，可以轻松将DeepSeek V4添加到工作流中进行编排和规划。
• NVIDIA Data Explorer Agent：该代理在DABstep基准测试中荣获第一名，擅长数据分析、数据科学和表格研究。该代理使用NeMo Agent Toolkit编写，可以轻松切换为使用DeepSeek V4。

使用开放的代理框架和开放模型的最大好处是，始终能够尝试新模型以获取最前沿的能力。

开始使用DeepSeek

从NVIDIA Blackwell上的数据中心部署到托管的NIM微服务和微调工作流，NVIDIA提供了一系列选项，用于在开发和部署的不同阶段集成DeepSeek和其他开放模型。NVIDIA是开源生态系统的积极贡献者，并已在开源许可下发布了数百个项目。

要开始使用，请查看Hugging Face上的DeepSeek-V4，或在build.nvidia.com上测试Pro模型。FINISHED