
与训练场景的对称流量不同,PD分离下的KV Cache传输具有极强的突发性和非对称性。传统的Fat-Tree或ROFT架构依赖ECMP逐流哈希,当多个“大象流”被分配到同一条成员链路时,即使总带宽充裕,也会发生严重的局部拥塞,直接推高首Token时延。
有没有一种架构能从根本上规避这种哈希极化?本文将通过E2E转发、集合通信到DeepSeek-V4-Flash模型推理的三层实测,深度剖析Matrix双平面组网在AI推理场景下的真实表现。
训练场景的通信是"对称且可预测"的:All-Reduce、All-to-All按固定节奏同步,流量方向规律。
PD分离推理则是:

传统Fat-Tree/ROFT架构依赖ECMP逐流哈希做负载均衡。当多个大象级KV Cache流被哈希到同一条成员链路,就会出现"总带宽很宽、单条链路挤爆"的局部拥塞。
更深一层的问题是结构性拥塞:ROFT为训练对称流量设计,跨Leaf的KV传输却要经过Spine汇聚,三跳转发叠加动态流量,尾时延自然压不下来。

Matrix(星阵正交双平面)的核心动作很直接:
对PD分离意味着:任意Prefill节点到任意Decode节点的KV Cache,路径最短且唯一,没有Spine瓶颈,也没有ECMP哈希冲突。
这种"正交对偶分区"让流量在跨平面链路中天然散开。无论源目如何不均匀,拓扑本身就在做负载均衡,而不是靠上层协议补救。
测试环境:800G RoCE交换机(64*800G/128*400G),AsterNOS系统;4节点32卡国产GPU,每节点4块双口200G网卡;DeepSeek-V4-Flash模型,2P2D部署。


用ib_write_bw测RoCE转发:

E2E转发性能测试中,ROFT 组网测得 392.06 Gb/s,与跨交换机参考基线 392.05 Gb/s基本一致;Matrix 组网测得390.63 Gb/s,与背靠背参考基线390.62 Gb/s基本一致。
我们分别在两种不同组网架构下测试了多种集合通信模型,并对比参数调优前后的性能与基准测试的差异。测试选取 8G message size 下的总线带宽(out-of-place busbw)作为对比指标(单位为GB/s),主要关注 All-reduce 和 All-to-All 通信。

调优前Matrix与ROFT基本持平;

针对性参数调优后,All-Reduce提升约6.4%,集合通信效率进一步释放。

测试包含16、32、64并发场景,关注测试集群的以下性能指标:


在DeepSeek模型推理测试中,Matrix架构展现出更高的总吞吐和更低的响应时延。
Matrix组网下并发64的总吞吐达到13,101.82 token/s,较ROFT提升21.7%;首Token时延(TTFT)降低约50%,每输出Token时延(TPOT)降低约10%。此外,根据方案配置对比,Matrix组网的网络硬件成本和整体功耗可降低约30%,具体收益以实际部署配置和测算结果为准。
在PD分离成为主流的AI推理场景里,网络拓扑本身就是一个可被量化的性能杠杆。Matrix不是万能解,但它在"KV Cache搬运"这个关键路径上,给出了一个从结构层消拥塞的答案。
款型 | NOS版本 | 数量 | 关键配置说明 |
|---|---|---|---|
CX864E-N | AsterNOS R0409 | 4 | CX864E-N数据中心交换机,64*800G/128*400G |
类别 | 型号/配置 |
|---|---|
CPU | INTEL(R)XEON(R)GOLD 6530 |
网卡 | Broadcom BCM57608 2x200G PCIe Ethernet |
操作系统 | Ubuntu 22.04.5 LTS/Linux 5.15.0-119-generic |
网卡驱动 | PWPKG Version:235.2.97.0,L2DEV Version:235.2.96.0 |
GPU型号 | 某国产GPU |
GPU计算软件栈版本 | |
集合通信库版本号 | |
GPU驱动版本号 | |
vBIOS版本 |
类型 | 型号 | 数量 | 描述 |
|---|---|---|---|
800G光模块 | 800G-OSFP112-2VR4 | 24 | 800G-2VR4,OSFP112,多模,双口MPO12/APC,8芯,30m/OM3,50m/OM4 |
400G光模块 | 400G-QSFP112-VR4 | 16 | 400G-VR4,QSFP112,多模,MPO-12,50m/OM4,30m/OM3,50m/OM4 |
光纤 | MPO12/125/APC-OM4 | 32 | 1*MPO12转换 1*MPO12,12芯,APC头,多模光纤,OM4 |
光纤 | MPO12/APC-2*MPO12/APC-OM4 | 16 | 1*MPO12/APC/转换2*MPO12/APC,多模光纤,OM4 |
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。