NVIDIA DGX Spark 多节点集群搭建，这些坑千万别踩！

外网一位技术博主曾录制过一期趣味十足的技术视频，视频中他详细分享了自己从4台NVIDIA DGX Spark硬件入手，逐步扩展至8台、搭建大模型训练与推理集群的完整过程，实操性极强且干货满满。本教程正是基于该视频内容，结合实操细节做了系统整理，详细讲解从2节点到8节点大模型集群的搭建、网络配置、故障排查及大模型部署全流程，实现张量并行（Tensor Parallelism）、RDMA高速通信，支持千亿级大模型（如Quen 3.5 397B）的本地运行，涵盖硬件选型、网络调试、软件配置、性能测试等核心步骤。

一、前期准备：硬件与核心配件

1. 核心计算节点

• 主节点：NVIDIA DGX Spark，单节点128GB显存，支持大模型训练/推理，也可兼容Dell GB10、MSI Edge Expert EX10、Asus Ascent GX10（与DGX Spark硬件规格一致）。

• 集群规模：建议从2节点起步，逐步扩展至4/8节点，8节点集群可提供总计1TB显存，支持800GB级大模型（如Quen 3.5 397B）的BF16全精度运行。

2. 高速网络设备

集群的核心是低延迟、高带宽通信，普通以太网无法满足张量并行需求，需选用以下专业设备：

1. 核心交换机：MikroTik CRS 812（双400GB端口，适配4节点）/MikroTik CRS 804（四400GB端口，适配8节点），支持RDMA、Jumbo Frames（9000MTU），为集群提供网状网络（Mesh Network）。

1. 高速线缆：QSFP56 breakout线缆（核心），需选用NVIDIA DGX Spark专用400G转2×200G QSFP56线缆（优先从FS官网购买，标注“DGX Spark”认证），避免购买错误的QSFP28线缆（带宽仅50G，为QSFP56的1/2）。

1. 基础配件：QSFP连接器（双密度款，用于多节点互联）、散热设备（集群运行时发热量极高，需保证通风）。

3. 软件工具与依赖

• 远程管理：SSH（免密登录配置，实现节点间无密码通信）、rsync（大模型文件跨节点同步）。
• 集群通信：NCCL（Nvidia Collective Communications Library，昵称Nickel，实现多GPU高效通信）、RoCE（RDMA over Converged Ethernet，绕开网络协议栈，实现节点内存直接通信）。
• 大模型测试：Llama Beni（比Llama Bench更贴合实际的集群性能测试工具，支持网络环境下的真实推理测试）、NVtop（GPU显存/使用率监控）。
• 辅助工具：Claude AI（自动化执行多节点命令、调试交换机配置）、ETH tool（网络带宽测试）。
• 集群部署脚本：Eugr的GitHub仓库（NVIDIA论坛开发者出品，支持DGX Spark集群化部署VLM，免Docker/基于Docker版本均有，地址可从NVIDIA论坛检索）。

二、基础搭建：2节点DGX Spark集群（入门版）

2节点是集群搭建的基础，操作简单且能实现显存翻倍（256GB），支持Quen 235等大模型的张量并行运行，适合新手入门。

步骤1：硬件物理连接

1. 取出NVIDIA官方配套的400G QSFP56线缆（DGX Spark双包款自带，无需额外购买）。
2. 直接连接两台DGX Spark的QSFP56端口，实现物理互联（无需交换机，直连即可）。

1. 检查设备散热：DGX Spark运行时排风口会吹出高温集中气流，避免对准摄像头/其他电子设备，保证通风空间。

步骤2：基础网络与SSH免密配置

1. 节点命名：将两台设备分别命名为Spark 1、Spark 2，记录各自IP地址。
2. SSH免密登录：
   1. 在Spark 1生成公钥/私钥：ssh-keygen -t rsa（一路回车，不设置密码）。
   2. 将公钥拷贝至Spark 2：ssh-copy-id [Spark2的IP]，输入Spark 2密码完成授权。
   3. 验证：在Spark 1执行ssh [Spark2的IP]，无需密码即可登录即为成功，反向操作实现Spark 2免密登录Spark 1。
3. 网络测试：执行ETH tool测试带宽，直连状态下应达到200Gbit/s（单端口200G，NVIDIA DGX Spark原生支持）。

步骤3：张量并行与大模型测试

1. 下载Euger的集群部署脚本，无需复杂配置，脚本已简化VLM运行流程。
2. 选择轻量模型测试（如Quen 34B BF16全精度版，避免4bit量化，贴近真实性能）。
3. 运行Llama Beni测试：
   • 令牌生成速度（Token Generation）：约35 tokens/s（单节点仅23 tokens/s，提升显著）。
   • 提示处理速度（Prompt Processing，PP2048）：约8000 tokens/s，远高于单节点。
4. 验证张量并行：通过NVtop查看两台节点的GPU使用率，均接近95%-100%即为成功。

三、进阶搭建：4节点DGX Spark集群（核心版）

4节点集群可提供512GB显存，需引入MikroTik CRS 812交换机实现网状网络，核心解决QSFP线缆选型和交换机端口配置问题，是8节点集群的过渡关键。

步骤1：硬件互联（交换机为核心）

1. 连接交换机与节点：将MikroTik CRS 812交换机的两个400GB端口，通过DGX Spark专用QSFP56 breakout线缆（1分2）分别连接4台DGX Spark，每根线缆对应2个节点，实现4节点全互联。

1. 形成网状网络：确保Spark 1/2/3/4可互相ping通，任意节点均可与其他3个节点直接通信。

步骤2：核心故障排查（新手最易踩坑）

4节点搭建的核心问题集中在线缆错误和交换机端口限速，以下是针对性解决方法：

问题1：购买了错误的QSFP28线缆，带宽被限制在50Gbit/s

• 现象：执行ETH tool测试，带宽仅50000 Mbit/s（50G），无法达到100G/200G。
• 解决：替换为FS官网标注DGX Spark的QSFP56线缆，切勿从非认证渠道购买（如亚马逊部分商家会标注QSFP56但实际为QSFP28）。

问题2：交换机端口被硬编码限速为50G，更换QSFP56线缆后带宽仍无提升

• 现象：更换正版QSFP56线缆，重启节点后带宽仍为50G，无任何变化。
• 解决：
  • 登录MikroTik交换机管理界面：通过SSH连接交换机（ssh [交换机IP]），需提前为交换机配置管理IP。
  • 查看端口配置：执行终端命令检查端口速率，确认是否被硬编码为50G。
  • 重新配置端口：将端口速率修改为100Gbit/s（DGX Spark单虚拟接口的最大速率），保存配置并重启交换机。
  • 验证：重新执行ETH tool，带宽应达到100Gbit/s per port。

步骤3：4节点网络与集群优化

1. RoCE开启验证：通过Eugr建议的nickel debug flag（NCCL调试标志）验证RoCE是否生效，确认节点间实现内存直接通信（绕开网络协议栈，降低延迟）。
2. Jumbo Frames配置：在所有4个节点开启9000MTU的巨型帧，提升大数据包传输效率，命令：ifconfig [网卡名] mtu 9000（需确认网卡支持）。
3. SSH网状免密：实现4节点间两两免密登录（共12条连接），确保集群脚本可在任意节点执行全集群命令。

步骤4：4节点性能测试与大模型部署

1. 延迟测试：
   • 交换机中转：执行Infiniband写测试，节点间延迟约3微秒。
   • 直连对比：若将两个节点直接连接，延迟可降至2微秒，交换机中转仅增加1微秒，低延迟满足张量并行需求。
2. 大模型测试（Quen VL32B BF16，66GB磁盘大小）：
   • 单节点：3.58 tokens/s（显存不足，性能极差）。
   • 2节点：6.14 tokens/s（GPU使用率95%-96%，线性缩放）。
   • 4节点：11.36 tokens/s（显存使用率63GB/节点，含KV缓存，缩放效果优异）。
3. 验证NCCL：确认NCCL利用双虚拟接口（各100G），实现单节点200Gbit/s的总通信带宽。

四、高阶搭建：8节点DGX Spark集群（旗舰版）

8节点集群可提供1TB显存，支持800GB级千亿大模型（如Quen 3.5 397B、Kim K2 600GB）的全精度运行，核心需升级交换机、扩展线缆并完成复杂的网络标准化配置。

步骤1：硬件升级与互联

1. 交换机升级：将MikroTik CRS 812（双400GB端口）替换为MikroTik CRS 804（四400GB端口），支持8节点全互联，该交换机为新品，需提前预定（注意：该设备不可发往中国、香港、俄罗斯、委内瑞拉）。

1. 线缆扩展：购买4根DGX Spark专用QSFP56 breakout线缆（1分2），将交换机4个400GB端口分别连接8台DGX Spark（含兼容的Dell/MSI/Asus节点），实现8节点网状网络。

1. 散热与环境优化：8节点+2台交换机发热量极大，需开窗通风，监控设备温度（最高约50℃，实际体感温度更高）；交换机运行有噪音，需做好隔音准备。

步骤2：全集群网络标准化配置

8节点配置的核心是统一网络参数，避免节点间通信异常，需完成以下配置，建议借助Claude AI自动化执行（减少手动操作错误）：

1. QSFP IP分配：为8个节点的QSFP高速网卡分配统一网段的静态IP，避免DHCP自动分配导致的地址冲突。
2. Jumbo Frames全集群开启：所有8个节点+2台交换机均配置9000MTU巨型帧，确保大数据包传输无丢包。
3. SSH全网状免密：实现8节点间两两免密登录，共56条有效连接（排除自连），通过Claude编写脚本批量执行公钥拷贝，避免手动操作繁琐。
4. 交换机统一配置：将CRS 804的4个400GB端口均配置为100Gbit/s per虚拟接口，开启RDMA、RoCE支持，关闭端口限速。

步骤3：大模型文件跨节点同步

8节点需运行相同的大模型文件，利用rsync工具通过100G高速网络同步，命令示例：

rsync -avz /path/of/model [Spark2的IP]:/path/of/model

批量编写脚本，实现1个主节点向其他7个节点同步模型，800GB模型同步耗时较短（依托100G带宽）。

五、千亿级大模型部署与测试（8节点集群核心应用）

8节点集群的核心价值是运行单节点/4节点无法承载的千亿级大模型，以下讲解两款超大型模型的部署与测试流程，均为BF16全精度版（非4bit量化，保证模型效果）。

1. Quen 3.5 397B（800GB磁盘大小，混合专家模型MoE）

部署步骤

• 下载模型至主节点，通过rsync同步至其他7个节点。
• 运行Eugr的集群部署脚本，执行模型分片（Sharding）：将800GB模型分片至8个节点，分片耗时约7分钟。
• 构建CUDA Graphs：耗时约3分钟，为大模型推理做硬件加速准备。
• 启动Llama Beni性能测试，通过NVtop监控8个节点的GPU显存/使用率。

测试结果

• 显存使用：112GB/节点（总119GB/节点，含KV缓存，接近满负载）。
• 令牌生成速度：24 tokens/s（混合专家模型，无需运行所有参数，该速度为行业内本地集群的优异水平）。
• 核心优势：单台Mac Studio（512GB显存）无法运行，8节点DGX Spark集群为唯一本地运行方案。

2. Kim K2（600GB磁盘大小，VLM大模型）

部署步骤

与Quen 3.5 397B一致，模型分片耗时约15分钟（模型结构更复杂），需确保8节点显存均有足够余量。

测试结果

• 显存使用：115GB/节点（接近满负载，VLM模型会最大化利用系统显存以提升上下文能力）。
• 令牌生成速度：13.35 tokens/s（虽速度低于Quen 3.5，但4节点集群无法运行，8节点为最低要求）。

六、集群核心原理与性能优化要点

1. 多节点集群的3个核心性能指标

大模型集群的性能由GPU算力、显存带宽、网络延迟决定，其中前两者适用于单节点，网络延迟为集群独有的核心指标：

• GPU算力：决定提示处理（Prompt Processing）速度，负责将用户提示转换为模型可识别的向量，单节点GPU算力越高，提示处理越快。
• 显存带宽：决定令牌生成（Token Generation）速度，负责模型推理过程中的数据读写，高显存带宽提升连续生成能力。
• 网络延迟：集群专属，低延迟（如3微秒）保证节点间张量并行的同步效率，普通以太网延迟为其10倍以上，无法满足需求。

2. 性能优化的关键技巧

• 模型选型：密集型大模型（Dense Model，如Quen VL32B）在集群上的缩放效果优于小模型，小模型（如Quen 34B）跨8节点部署无明显性能提升（模型太小，分片开销大于性能增益）。
• 线缆优先选认证款：切勿贪便宜购买非DGX Spark认证的QSFP56线缆，避免带宽被限制、兼容性问题。
• 利用自动化工具：多节点命令执行、交换机调试、SSH配置均借助Claude AI，减少手动操作错误，提升效率。
• 监控GPU状态：通过NVtop实时监控显存/使用率，若某节点负载过低，检查网络连接或脚本配置，确保张量并行均匀分配负载。
• 散热与稳定性：集群运行时温度极高，避免设备长时间满负载运行，定期检查散热，防止设备因过热关机。

七、常见问题与解决方案

八、后续扩展与注意事项

1. 集群规模扩展：若需扩展至更多节点，需继续升级交换机（增加400GB端口数量），并保证所有节点硬件规格一致（避免算力/显存不匹配导致的性能瓶颈）。
2. 成本控制：本集群为高成本方案（交换机单台1300美元，QSFP56线缆单价高昂，8节点为“最昂贵的搭建方案”），非专业需求建议从2/4节点起步。
3. 社区支持：若遇到技术问题，可参考NVIDIA论坛（Yuger为核心答疑者）或Yuger的GitHub仓库（持续更新集群部署脚本，支持最新大模型）。
4. 工具更新：及时更新NCCL、Llama Beni等工具，保证与最新版DGX Spark固件、大模型的兼容性。

本教程覆盖从基础到高阶的全流程，核心解决多节点集群的网络调试和故障排查两大痛点，按照步骤操作即可实现DGX Spark集群的稳定运行，支持千亿级大模型的本地训练与推理。