首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >PD分离下的AI推理组网架构:Matrix实测数据与性能解析

PD分离下的AI推理组网架构:Matrix实测数据与性能解析

原创
作者头像
星融元Asterfusion
发布于 2026-11-16 17:21:00
发布于 2026-11-16 17:21:00
390
举报

与训练场景的对称流量不同,PD分离下的KV Cache传输具有极强的突发性和非对称性。传统的Fat-Tree或ROFT架构依赖ECMP逐流哈希,当多个“大象流”被分配到同一条成员链路时,即使总带宽充裕,也会发生严重的局部拥塞,直接推高首Token时延。

有没有一种架构能从根本上规避这种哈希极化?本文将通过E2E转发、集合通信到DeepSeek-V4-Flash模型推理的三层实测,深度剖析Matrix双平面组网在AI推理场景下的真实表现。

为什么PD分离让传统AI网络"堵车"

从训练流量到推理流量,网络模型变了

训练场景的通信是"对称且可预测"的:All-Reduce、All-to-All按固定节奏同步,流量方向规律。

PD分离推理则是:

  • KV Cache的源和目的由调度器动态决定,没有固定对应关系
  • 单次传输量从几MB到几十GB动态跳动
  • 对首Token时延(TTFT)的尾延迟极度敏感

哈希极化与结构性拥塞(ROFT架构)

AsterFabric ROFT(轨道优化)测试拓扑
AsterFabric ROFT(轨道优化)测试拓扑

传统Fat-Tree/ROFT架构依赖ECMP逐流哈希做负载均衡。当多个大象级KV Cache流被哈希到同一条成员链路,就会出现"总带宽很宽、单条链路挤爆"的局部拥塞。

更深一层的问题是结构性拥塞:ROFT为训练对称流量设计,跨Leaf的KV传输却要经过Spine汇聚,三跳转发叠加动态流量,尾时延自然压不下来。

Matrix架构做了什么?

AsterFabric Matrix(星阵正交双平面)测试拓扑
AsterFabric Matrix(星阵正交双平面)测试拓扑

去掉Spine层,A/B双平面完全二部图

Matrix(星阵正交双平面)的核心动作很直接:

  • 移除Spine层,把Leaf交换机均分为A、B两组
  • 两组之间完全二部图全互联(任意A↔任意B都有直连)
  • 网卡双端口分别接入两个平面,全网任意GPU间恒定两跳

对PD分离意味着:任意Prefill节点到任意Decode节点的KV Cache,路径最短且唯一,没有Spine瓶颈,也没有ECMP哈希冲突。

单轨+多轨混合接入,从拓扑层做负载均衡

  • A平面(多轨):把同槽位GPU分散到不同Leaf
  • B平面(单轨):连续编号GPU集中接入

这种"正交对偶分区"让流量在跨平面链路中天然散开。无论源目如何不均匀,拓扑本身就在做负载均衡,而不是靠上层协议补救。

实测数据:三组测试看清Matrix的真实表现

测试环境:800G RoCE交换机(64*800G/128*400G),AsterNOS系统;4节点32卡国产GPU,每节点4块双口200G网卡;DeepSeek-V4-Flash模型,2P2D部署。

E2E转发:接近背靠背基线

网卡背靠背直连测试拓扑
网卡背靠背直连测试拓扑
跨交换节点测试拓扑
跨交换节点测试拓扑

用ib_write_bw测RoCE转发:

  • Matrix组网:390.63 Gb/s(对照背靠背基线390.62 Gb/s)
  • ROFT组网:392.06 Gb/s(对照跨交换机基线392.05 Gb/s)

E2E转发性能测试中,ROFT 组网测得 392.06 Gb/s,与跨交换机参考基线 392.05 Gb/s基本一致;Matrix 组网测得390.63 Gb/s,与背靠背参考基线390.62 Gb/s基本一致。

集合通信:与ROFT相当,调优后反超

我们分别在两种不同组网架构下测试了多种集合通信模型,并对比参数调优前后的性能与基准测试的差异。测试选取 8G message size 下的总线带宽(out-of-place busbw)作为对比指标(单位为GB/s),主要关注 All-reduce 和 All-to-All 通信。

  • 总线带宽 (BusBW,Bus Bandwidth):通常用于衡量集合通信操作中,算法实际传输的数据量相对于执行时间的效率,并结合通信算法的通信量折算为等效带宽

调优前Matrix与ROFT基本持平;

针对性参数调优后,All-Reduce提升约6.4%,集合通信效率进一步释放。

DeepSeek-V4-Flash推理:吞吐与时延双突破

测试包含16、32、64并发场景,关注测试集群的以下性能指标:

  1. 总吞吐:13,101.82 token/s,较ROFT提升21.7%
  2. 首Token时延(TTFT):2403ms → 1216ms,降低约50%
  3. 每Token时延(TPOT):降低约10%

在DeepSeek模型推理测试中,Matrix架构展现出更高的总吞吐和更低的响应时延。

Matrix组网下并发64的总吞吐达到13,101.82 token/s,较ROFT提升21.7%;首Token时延(TTFT)降低约50%,每输出Token时延(TPOT)降低约10%。此外,根据方案配置对比,Matrix组网的网络硬件成本和整体功耗可降低约30%,具体收益以实际部署配置和测算结果为准。

选型建议

在PD分离成为主流的AI推理场景里,网络拓扑本身就是一个可被量化的性能杠杆。Matrix不是万能解,但它在"KV Cache搬运"这个关键路径上,给出了一个从结构层消拥塞的答案。

附录:测试环境

  • 交换机

款型

NOS版本

数量

关键配置说明

CX864E-N

AsterNOS R0409

4

CX864E-N数据中心交换机,64*800G/128*400G

  • 计算节点

类别

型号/配置

CPU

INTEL(R)XEON(R)GOLD 6530

网卡

Broadcom BCM57608 2x200G PCIe Ethernet

操作系统

Ubuntu 22.04.5 LTS/Linux 5.15.0-119-generic

网卡驱动

PWPKG Version:235.2.97.0,L2DEV Version:235.2.96.0

GPU型号

某国产GPU

GPU计算软件栈版本

集合通信库版本号

GPU驱动版本号

vBIOS版本

  • 其他配件

类型

型号

数量

描述

800G光模块

800G-OSFP112-2VR4

24

800G-2VR4,OSFP112,多模,双口MPO12/APC,8芯,30m/OM3,50m/OM4

400G光模块

400G-QSFP112-VR4

16

400G-VR4,QSFP112,多模,MPO-12,50m/OM4,30m/OM3,50m/OM4

光纤

MPO12/125/APC-OM4

32

1*MPO12转换 1*MPO12,12芯,APC头,多模光纤,OM4

光纤

MPO12/APC-2*MPO12/APC-OM4

16

1*MPO12/APC/转换2*MPO12/APC,多模光纤,OM4

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 为什么PD分离让传统AI网络"堵车"
    • 从训练流量到推理流量,网络模型变了
    • 哈希极化与结构性拥塞(ROFT架构)
  • Matrix架构做了什么?
    • 去掉Spine层,A/B双平面完全二部图
    • 单轨+多轨混合接入,从拓扑层做负载均衡
  • 实测数据:三组测试看清Matrix的真实表现
    • E2E转发:接近背靠背基线
    • 集合通信:与ROFT相当,调优后反超
    • DeepSeek-V4-Flash推理:吞吐与时延双突破
  • 选型建议
  • 附录:测试环境
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档