## 一、从第一章那个伏笔说起

第一章第五节讲过，2026 年推理系统最明确的一条主线，是分离式 Prefill/Decode——把 prefill 和 decode 拆到不同的 GPU 池，各干各的。

但这个架构能不能成立，卡在一个很具体的地方：**prefill 算出来的 KV 缓存，得交给 decode 用。** 一个长上下文的请求，KV 缓存可能有几十上百 GB。搬得慢，分离式推理就白拆了。

训练侧有 NCCL 管集合通信，但推理侧的 KV 搬运是另一个问题，于是有了 NIXL。

## 二、为什么 NCCL 干不了这个活

先看推理的两个阶段差在哪。

![fig5-prefill-decode.png](https://developer.qcloudimg.com/http-save/yehe-11479707/4a662b7b91c13827d5f30e4e030b4ac8.png)

Prefill 处理整个 prompt，一次前向把输入全算完，是计算密集的，Tensor Core 吃满，GPU 利用率能接近峰值。Decode 每步只生成一个 token，但每生成一个都要把全部历史 KV 缓存和权重读一遍，是带宽密集的，GPU 利用率经常只有 20% 到 40%。

打个比方：prefill 像一口气读完一本书再答题，decode 像一个字一个字地往外蹦，每蹦一个字都得把前面所有的字重新看一遍。

这俩阶段塞在同一批 GPU 上会互相挤。一个长 prompt 进来，prefill 吃满算力，正在 decode 的请求就卡住。分离式架构把它们拆开，中间就多了一道工序：KV 缓存的交接。

NCCL 是为训练设计的，做的是多对多的集合通信（all-reduce 这种）、同步语义、传小到中等的梯度张量。KV 传输是一对一的、异步的、大消息的。用 NCCL 搬 KV，就像用集卡车去送一件小快递，能用但别扭。

所以 NVIDIA 在 2025 年开源了 NIXL（NVIDIA Inference Xfer Library），专门干这件事。它不替代 NCCL，是补充。

## 三、NIXL 的三个本事

NIXL 解决 KV 传输，靠三样东西。

![fig3-pd-disaggregation.png](https://developer.qcloudimg.com/http-save/yehe-11479707/298f24e03ffe0961d9d3c0367204f9e3.png)

**异步。** 传输不阻塞计算，发起之后 GPU 继续干别的，完事靠回调或轮询知道。KV 交接的延迟就能被计算藏起来。

**互连无关。** 底层用 UCX 抽象，NVLink、NVSwitch、InfiniBand、RoCE、PCIe、GPUDirect Storage 都能走，自动选最快链路。同一个 API，不管集群是 IB 还是以太。

**零拷贝。** 支持 GPUDirect RDMA，网卡直接读 GPU 显存，还支持 IBGDA 让 GPU 自己发起传输，CPU 彻底不掺和。

核心 API 就四步：registerMem 注册显存，trim 取句柄，prepXfer/postXfer 发起传输，checkXfer 查进度。全程异步、零中间拷贝。

## 四、KV 缓存的分层卸载

KV 缓存不只是「从一块 GPU 搬到另一块」，更大的价值在**卸载**：把不活跃的 KV 搬到更便宜的地方，给显存腾位子。

![fig5-kv-offload.png](https://developer.qcloudimg.com/http-save/yehe-11479707/806b2fdcf0604a438151f25b34d2337f.png)

说白了就是「办公桌抽屉放不下，就把不常用的东西挪到楼下的储物间」。NIXL 在这四层之间按需搬：

- GPU HBM：最贵最快，放热 KV
- CPU DRAM：中等，放温 KV
- NVMe SSD：便宜，放冷 KV
- 对象存储：最便宜，归档

这个分层卸载在长上下文上收益特别明显。书里的数据：x86 + H100 系统上，用 KV 卸载替代「重新算 KV」，长序列的 TTFT（首 token 时间）快了最多 14 倍。换成 Grace Hopper，靠 900 GB/s 的 NVLink-C2C 再快 2 倍，一共约 28 倍。

原因不难想：重新算一段 KV 要完整跑一遍 attention，卸载只是把算好的结果搬回来，量级完全不一样。

## 五、NCCL 和 NIXL，一张表分清

| 维度   | NCCL                   | NIXL                       |
| ---- | ---------------------- | -------------------------- |
| 主要用途 | 训练集合通信（all-reduce，多对多） | 推理点对点 / 一对少（KV 搬运）         |
| 模式   | 同步集合（有屏障）              | 异步传输 + 回调/轮询               |
| 数据规模 | 小到中等张量（梯度）             | 大消息（数百 MB+，KV 缓存）          |
| 路径选择 | 自动                     | 自动（互连无关）                   |
| 典型场景 | DDP/FSDP 梯度同步          | prefill→decode KV 交接、KV 卸载 |

训练同步梯度找 NCCL，推理搬 KV 找 NIXL。

## 六、落地效果：Dynamo 的 30 倍

NIXL 最出圈的落地是在 NVIDIA Dynamo 这个分布式推理框架里。Dynamo 用 NIXL 在 72-GPU 的 NVL72 机柜上跑约 680B 参数的 LLM，相对单机 vLLM 基线拿到 30 倍的推理吞吐。

这 30 倍不是单个优化堆出来的，是分离式推理、KV 缓存分层、异步传输这一整套合力的结果。NIXL 是串起这些的那根线：prefill 集群产出 KV，经它低延迟地送到 decode 集群，冷 KV 再经它卸载到 CPU 和 SSD。

## 七、小结

把上下两篇串起来，网络层的逻辑就清楚了。

训练侧，通信是「多对多的梯度同步」，靠重叠和拓扑感知，工具是 NCCL、RDMA、SHARP，目标是让 goodput 逼近光速。

推理侧，通信是「一对一的 KV 交接」，靠异步和分层卸载，工具是 NIXL，目标是让分离式推理真的跑起来。

网络层干的就一件事：别让 GPU 等。

---

## 参考资料

- Chris Fregly, *AI Systems Performance Engineering*, O'Reilly Media（第 4 章 4.11–4.12 节）
- NVIDIA Dynamo 与 NIXL 官方文档
- 分离式推理相关论文：DistServe（OSDI 2024）、Splitwise（ISCA 2024）、Mooncake（FAST 2025）
- 本文上篇：AI Infra 系列 · 第二章（上）

> 说明：NIXL 机制与数字沿用《AI Systems Performance Engineering》第 4 章；分离式推理的 2026 现状参见本系列第一章第五节。


第一章第五节讲过，2026 年推理系统最明确的一条主线，是分离式 Prefill/Decode——把 prefill 和 decode 拆到不同的 GPU 池，各干各的。

AI Infra 系列 · 第二章（下）：推理侧 KV 传输——NIXL 如何搬运 prefill 到 decode

上篇讲训练侧，让 GPU 别等梯度。这篇讲推理侧的另一件麻烦事：分离式推理要把 KV 缓存从 prefill 搬到 decode，几十上百 GB 的数据怎么又快又稳地搬过去。答案是一个专门的库，NIXL。

运维开发工程师

人工智能

云计算

架构设计

NIXL是NVIDIA为分离式推理设计的KV缓存传输库，通过异步传输、互连无关和零拷贝三大特性，解决Prefill与Decode阶段的KV交接瓶颈。相比NCCL，NIXL专攻点对点大消息传输，配合分层KV卸载，在Dynamo框架中实现30倍推理吞吐提升，并让长上下文TTFT快达28倍。

对象存储

2026上云采购 | AI焕新·智启新局

tione

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

AI Infra 系列 · 第二章（下）：推理侧 KV 传输——NIXL 如何搬运 prefill 到 decode-腾讯云开发者社区-腾讯云

AI Infra 系列 · 第二章（下）：推理侧 KV 传输——NIXL 如何搬运 prefill 到 decode

AI Infra 系列 · 第二章（下）：推理侧 KV 传输——NIXL 如何搬运 prefill 到 decode

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐