白皮书：智算中心光电协同交换网络全栈技术

《智算中心光电协同交换网络全栈技术白皮书》（2025 年 8 月，由湖南大学、中国联通研究院等多单位联合编写）指出，在 AI 大模型参数量指数级增长推动智算需求爆发的背景下，传统纯电交换网络因在端口密度、带宽、时延、功耗上逼近极限，难以满足大规模分布式训练需求，而光电协同交换网络凭借光交换的TB 级带宽、纳秒级时延、低功耗与电交换的灵活控制能力形成互补，成为新一代智算中心网络核心方向；白皮书系统分析了该网络在应用层、传输层、网络层、链路层、物理层面临的技术挑战，并针对性提出协议栈技术发展方案，同时规划了分三阶段的标准化路径与未来产业发展方向，为相关领域提供系统参考。

一、白皮书基础信息

编写主体：由湖南大学、中国联通研究院、中国联通软件研究院、北京邮电大学、上海交通大学联合编写，核心编写人员涵盖高校科研人员（如湖南大学陈果、北京邮电大学邢颖）与企业技术专家（如中国联通程新洲、杨迪）。

支撑与时间：编写于 2025 年 8 月，得到国家自然科学基金项目（编号：U24B20150）支持，旨在为智算中心网络领域提供系统参考框架。

二、智算中心发展与光电协同网络兴起

（1）国家政策推动

2025 年 1 月：《国家数据基础 设施建设指引》强调 “高效弹性传输网络” 对大模型训推的支撑作用，要求提升数据交换性能、降低传输成本。

2025 年 7 月：《人工智能全球治理行动计划》提出 “加快新一代网络、智能算力等基础设施建设”，推动统一算力标准体系。

（2）智算中心需求爆发

产业规模：2024 年我国人工智能产业规模突破7000 亿元，年增长率超 20%；2025 年上半年生成式 AI 产品数量与应用场景大幅扩张（如医疗大模型 MedGPT、汽车大模型华为盘古）。

算力需求：大模型参数量呈指数增长，训练需大规模 GPU 集群，具体需求如下表：

3.互联架构：智算中心网络分为机内互联（PCIe、NVLink 5.0，带宽达1800 GB/s）与机外互联（Fat-Tree/Leaf-Spine 架构，依赖电交换芯片）。

（3）光电协同网络的兴起

电交换瓶颈：

端口密度：主流商用电交换芯片容量102.4 Tbps（如 Broadcom Tomahawk 6），国产芯片仅25.6 Tbps，难满足万卡集群需求。

带宽与时延：千亿参数模型 AllReduce 通信需数百 GB 数据，电交换 “存储 - 转发” 机制导致端到端时延30 µs级，影响 GPU 利用率（动态时延从 10us 升至 1000us，GPU 有效计算占比降 10%）。

功耗：GPT-4 训练网络功耗21.5 MW，GPT-5 预计达122 MW（超胡佛大坝发电量 10%）；32 口 400GbE 电交换机功耗超1 kW。

光交换优势：

性能：TB 级带宽、纳秒级时延（无存储 - 转发排队）、低功耗（320 端口 MEMS 光交换机功耗仅45 W）。

类型：主动光交换机（3D MEMS / 液晶调制，商用320×320端口）、被动光交换机（AWGR，端口64~128个，微秒级切换）。

光电协同价值：整合光交换 “高带宽、低时延” 与电交换 “灵活控制” 优势，支持 TB 级带宽，核心层替换光交换机后功耗可降99%（如 8000GPU 集群核心层从 62kW 降至 0.4kW）。

光电协同网络的核心优势体现在带宽、时延、功耗三大维度，具体如下：

带宽提升：纯电交换单链路带宽≤800Gbps，而光电协同支持 TB 级带宽，可满足万亿参数模型单次超 1TB 的梯度同步需求（如 GPT-4 训练需 25000 张 H100 GPU，全互联需 TB 级聚合带宽）；

时延降低：纯电交换端到端时延为微秒级（约 30µs），光电协同中光链路时延达纳秒级，仅电控制部分为微秒级，可减少大模型训练同步等待 —— 千亿参数模型动态时延从 10us 升至 1000us 时，GPU 有效计算占比降 10%，光电协同可规避该损耗；

功耗优化：纯电交换 32 口 400GbE 交换机功耗超 1kW，而 320 端口 MEMS 光交换机仅 45W；在 8000GPU 集群中，核心层用电交换机功耗 62kW，替换为 9 台光交换机后降至 0.4kW，功耗节省超 99%，可支撑 GPT-5 等超大规模模型（预计 122MW 网络功耗）的长期训练。

三、光电协同网络全栈技术挑战

尽管光交换技术具有高带宽、低延迟、可扩展等一系列优点，但在智算中心中应用全光交换面临诸多的现实挑战。首先，全光交换难以实现有效的缓冲机制，因为光信号无法像电信号那样轻松存储，这会导致在高负载的训练任务中，数据包冲突和丢包问题频发，影响任务的同步性和稳定性。其次，基于线路交换的特性使得光交换在灵活性和可重构性上受限，通常依赖于固定波长或空间切换，无法高效支持训练任务中频繁的动态通信模式，这可能导致网络瓶颈和资源利用率低下。现阶段使用光电协同方案组建智算中心网络，以结合光域的高速传输和电域的灵活控制，是更为实际的方案。

四、全栈协议栈技术发展方案

在网络协议方面，智算中心网络通常遵循分层设计，与经典的TCP/IP 五层模型一一对应：

 应用层：面向大模型训练的集合通信操作（如 All-Reduce、All-to-All）；

 传输层：RDMA（RoCE、IB）及定制化高性能通信协议；

 网络层：路由控制与拓扑感知机制；

 链路层：流量整形与无损以太网特性；

 物理层：高速收发器、信号调制及光电转换技术。 然而，随着光电协同网络作为新一代数据中心架构的引入，传统分层协议栈面临新的适配挑战。这是因为光交换与电交换在基本通信模式上存在根本差异：电交换采用分组交换（packet switching），可灵活将同一链路上的连续数据包转发至不同目的地；而光交换采用线路交换（circuit switching），一旦建立电路，链路在拓扑周期内固定，无法并行服务其他节点，需依赖周期性拓扑重构实现全对全连接。这一挑战异贯穿协议栈各层，促使现有的设计理念与机制需要重新审视与调整，以充分发挥光电协同架构的潜力。

（1）应用层：面向光电网络的集合通信重构

通信模式预测：基于模型架构（如 MoE）、训练阶段，预测 AllReduce/All-to-All 等通信需求，提前配置光链路。

拓扑感知重构：通信库内置树形 / 环形 / 分层混合算法（如 NCCL 扩展），动态匹配物理拓扑（如分段环形 AllReduce，子环用电链路、跨子环用光链路）。

（2）传输层：高性能传输协议优化

灵活多路径机制：通过虚拟路径映射避免 ECMP 重分配，接收端增强乱序缓存（应对光电链路时延差导致的乱序）。

双状态拥塞控制：为光 / 电链路分别维护独立窗口与参数，通过 “显式信令” 或 “主动探测” 同步链路状态。

错峰流量调度：错开多任务 “计算 - 通信” 阶段，通过时间片预留光链路，降低并发通信峰值（如任务 1 通信时任务 2 计算）。

传统单态拥塞控制因无法适配光电链路的性能差异（光链路：数百 Gbps 带宽、亚微秒时延；电链路：低带宽、稳定时延），易导致链路切换时速率 / 窗口剧烈震荡，“双状态拥塞控制机制” 通过以下逻辑解决该问题：

核心设计：为光链路与电链路分别维护独立的拥塞控制状态，包括发送窗口（cwnd）、速率参数、丢包 / 乱序处理逻辑，避免单状态下的 “一刀切” 优化；

状态同步方式：

显式信号通知：控制平面在链路切换时（如光链路建立 / 释放）发送专用信令，告知发送端切换至对应状态（光模式 / 电模式），同步精度高；

主动探测机制：发送端通过定期探测流判断链路状态，光链路可用时切光模式，不可用时回退电模式，减少信令依赖；

适配智算场景：突破传统 “公平带宽分配” 思路，优先满足训练任务的通信需求（如参数同步），通过错峰调度将通信阶段与计算阶段交错，降低总体训练耗时，而非追求单流公平。

（3）网络层：智能路由控制

BGP 协议优化：移除冗余属性、调整探测间隔（事件驱动）、换用 UDP/RDMA 传输、预留专用控制通道。

双模路由表：预计算典型拓扑路由并缓存，光 / 电链路独立策略，故障时电链路备份（如光拓扑 A/B/C 对应预计算路由表）。

（4）链路层：智能双工重构

非对称带宽利用：针对流量方向性（如联邦学习上行 > 下行、推理服务下行 > 上行），动态分配链路（如 A→B 用 3 条光路、B→A 用 1 条）。

链路池化管理：抽象物理链路为虚拟资源池，结合流量预测（上层阶段 + 历史特征）与实时监测，动态调整带宽（如参数同步阶段增聚合链路）。

效益提升：非对称调度后链路利用率从 56.25% 升至90%（如机柜 1-6 带宽从 500Gbps→900Gbps）。

（5）物理层：分布式光交换与优化

分布式架构：dOCS（如曦智科技 LightSphere X）将光交换嵌入 GPU 节点，实现秒级拓扑重构。

器件与集成：硅光 Chiplet 集成调制器 / 开关，CPO 技术实现光模块与交换芯片深度集成，探索 MEMS / 液晶可调开关。

五、总结与未来展望

（1）标准化路径（三阶段）

2）未来发展方向

技术融合：光子计算与传输融合（光域直接矩阵运算），AI 集成网络（大模型预测流量、自主优化）。

规模与应用：支撑超万卡 GPU 集群（PB 级数据交换），拓展至超算（工程仿真）、大科学装置（粒子加速器 / 射电望远镜）互联。

产业生态：推动光电融合处理器（集成光子接口 + 电子计算），优化调度算法与应用框架，降低开发成本。

产业生态方面，光电网络的发展将推动芯片与设备等上游产业升级，推动光子芯片与电子芯片的深度集成，形成新一代光电融合处理器。这类芯片将在单一封装内集成光子网络接口、电子计算单元、存储控制器等功能模块，为高性能计算提供一体化的解决方案。此外，网络调度算法和应用框架也将进一步改进，令开发者的学习成本进一步降低，实现更智能的网络资源分配和动态优化。