# **没有 Mellanox 网卡、没有 InfiniBand 交换机，也能在一台笔记本上学 RDMA？**

        本文用 VMware Workstation 创建两台 Ubuntu 虚拟机，通过 Soft-RoCE（RXE）​ 在普通虚拟网卡上模拟 RoCEv2 通信。从克隆虚拟机、加载 RDMA 内核模块、绑定 RXE 设备开始，一步步带你：

1）跑通 ibv\_rc\_pingpong 验证 RC QP 建链  
2）用 rping 确认 RDMACM 控制面正常  
3）用 ib\_send\_bw、ib\_read\_bw、ib\_write\_bw 实测三种 RDMA 操作的带宽  
        全文附带完整命令、回显截图和原理图解，帮你理解 SEND/READ/WRITE 的本质区别。读完你不仅能搭出一套可复现的 RDMA 实验环境，还能把 perftest 工具的参数含义和测试原理彻底搞清楚。

        适合人群：AI 网络工程师、存储开发者、RDMA 初学者、想在笔记本上练手的任何人。

## ******一、实验拓扑******

用 VMware Workstation安装2台虚拟机：

┌──────────────┐         VMnet (Host-Only)        ┌──────────────┐

│ Ubuntu A     │ ens33 192.168.44.128            │ Ubuntu B     │

│ rxe\_0        │ <──────────────────────────────> │ rxe\_0        │

│ ibv server   │            RoCEv2/UDP/4791        │ ibv client   │

└──────────────┘                                  └──────────────┘

        │                                                │

        └──────────── 宿主机 VMnet 虚拟交换机 ───────────┘

-   两台 Ubuntu 22.04/24.04 VM
-   网络适配器：Host-Only 或自定义 VMnet，能互 ping  

克隆现有 Ubuntu 即可，不必重装；

右键已安装完成的系统，“管理”-》“克隆”

克隆后**重新生成 MAC**，改主机名和 IP。

右键克隆的系统，“设置”-》网络适配器-》高级-》生成，避免两台虚拟机mac冲突，重新生成mac地址后，IP地址会自动修改。

![](https://developer.qcloudimg.com/http-save/yehe-12773584/840e6d787b29bccaaeac4e9524c334bd.png)

改完后，一台192.168.44.128，另一台为192.168.44.129

---

## ******二、两台 VM 基础网络准备******

Node A：

sudo hostnamectl set-hostname node-a

ip addr show ens33sudo ip addr add 192.168.44.128/24 dev ens33

ping 192.168.44.129

Node B：

sudo hostnamectl set-hostname node-bsudo ip addr add 192.168.44.129/24 dev ens33

ping 192.168.44.128

网卡名可能是 ens160 / eth0，以 ip addr 为准。

---

## ******三、安装 RDMA 软件栈******

两台都执行：

sudo apt updatesudo apt install -y \\

  rdma-core \\

  ibverbs-utils \\

  infiniband-diags \\

  rdmacm-utils \\

  perftest \\

  libibverbs-dev \\

  librdmacm-dev

检查内核支持：

grep RDMA\_RXE /boot/config-$(uname -r)# 期望：CONFIG\_RDMA\_RXE=m 或 =y

![](https://developer.qcloudimg.com/http-save/yehe-12773584/56070427e1a009856f7390a1aa6bd5cb.png)

---

## ******四、加载 Soft-RoCE 并绑定网卡******

两台都执行：

sudo modprobe rdma\_rxe

lsmod | grep rdma\_rxe

![](https://developer.qcloudimg.com/http-save/yehe-12773584/0a779eacde5d36c5f049b78274040a51.png)

绑定到实际网卡（以 ens33 为例）：

sudo rdma link add rxe\_0 type rxe netdev ens33

rdma link show

正常输出类似：

link rxe\_0/1 state ACTIVE physical\_state LINK\_UP netdev ens33

![](https://developer.qcloudimg.com/http-save/yehe-12773584/a3517275a5e88be0d372c87d1f6fd241.png)

查看 verbs 层：

ibv\_devices

ibv\_devinfo -d rxe\_0

![](https://developer.qcloudimg.com/http-save/yehe-12773584/9158bfc37de9e2560d8aa170e864595a.png)

---

## ******五********、跑第一个 RoCEv2 通信：ibv\_rc\_pingpong******

### ******1\. 服务端（Node A）****  ****192.168.44.128******

ibv\_rc\_pingpong -d rxe\_0 -g 2

输出：

![](https://developer.qcloudimg.com/http-save/yehe-12773584/3344b3b3086269e03695ef08d3585aa7.png)

### ******2\. 客户端（Node B）**** ****192.168.44.129******

ibv\_rc\_pingpong -d rxe\_0 -g 2 192.168.44.128

输出：

![](https://developer.qcloudimg.com/http-save/yehe-12773584/ecdfb84a30edb8693a274f12f6b9927e.png)

通过pingpong测试两台虚拟机的RDMA通信正常。

![](https://developer.qcloudimg.com/http-save/yehe-12773584/078d7cb13b311e3049622fe3f8e563d9.png)

---

## ******七********、用 rping 验证 RDMACM 建链******

服务端：

rping -s -a 192.168.44.128 -v

![](https://developer.qcloudimg.com/http-save/yehe-12773584/c08c32b4f46f2a09365a926bca19c010.png)

客户端：

rping -c -a 192.168.44.128 -v -C 5

![](https://developer.qcloudimg.com/http-save/yehe-12773584/480e0ec860c97acfd287ceadd167820d.png)

说明 RDMACM + RoCEv2 控制面也没问题。

![](https://developer.qcloudimg.com/http-save/yehe-12773584/f0fb62b2d9a83d3bed621a3f5b97e0cc.png)

---

## ******八********、跑带宽/延迟：perftest******

1）ib\_send\_bw测试RDMA SEND 操作的带宽。

服务端：

ib\_send\_bw -d rxe\_0 -x 2

![](https://developer.qcloudimg.com/http-save/yehe-12773584/85eb1a4ec03c4e3ddc7c77ee4a23bc54.png)

客户端：

ib\_send\_bw -d rxe\_0 -x 2 192.168.44.128

![](https://developer.qcloudimg.com/http-save/yehe-12773584/7b68d50485ef39cea4c08e76b924c7dd.png)

测试原理如下：

![](https://developer.qcloudimg.com/http-save/yehe-12773584/e314af91f96efc1fda36f9660cdd5f90.png)

![](https://developer.qcloudimg.com/http-save/yehe-12773584/55f74295593cfa32910fb421cda65169.png)

2）ib\_read\_bw测试读带宽

读带宽：

ib\_read\_bw -d rxe\_0 -x 2

![](https://developer.qcloudimg.com/http-save/yehe-12773584/498f46253dc449c864ae5775962f8bb6.png)

ib\_read\_bw -d rxe\_0 -x 2 192.168.44.128

![](https://developer.qcloudimg.com/http-save/yehe-12773584/bc3f77851f3abd1ce0052342b810e157.png)

测试原理如下：

![](https://developer.qcloudimg.com/http-save/yehe-12773584/705f09b7b7c2a0a39a6a48e108711539.png)

![](https://developer.qcloudimg.com/http-save/yehe-12773584/487dfb34de0cb1055afb9004054c2f18.png)

3）写带宽测试ib\_write\_bw：

ib\_write\_bw -d rxe\_0 -x 2 --report\_gbits

![](https://developer.qcloudimg.com/http-save/yehe-12773584/3f0496a59e056d29fc5b3cc039933ba2.png)

ib\_write\_bw -d rxe\_0 -x 2 --report\_gbits 192.168.44.128

![](https://developer.qcloudimg.com/http-save/yehe-12773584/a32da014837baacf490059398297ce9b.png)

测试原理如下：

![](https://developer.qcloudimg.com/http-save/yehe-12773584/b6997ba15e8b605ec520d4ce5454cbe8.png)

![](https://developer.qcloudimg.com/http-save/yehe-12773584/3c9d46a1f1cece0abab7b8778afbc45a.png)

---

本文用 VMware Workstation 创建两台 Ubuntu 虚拟机，通过 Soft-RoCE（RXE）​ 在普通虚拟网卡上模拟 RoCEv2 通信。从克隆虚拟机、加载 RDMA 内核模块、绑定 RXE 设备开始，一步步带你：

零成本学 RDMA：VMware 虚拟机搭建 Soft-RoCE 环境，从建链到带宽测试一次搞定

操作系统

网络与通信

开发工具

在笔记本VMware虚拟机中，通过Soft-RoCE（RXE）模拟RoCEv2，实现无Mellanox网卡的RDMA学习环境。文章提供完整实验步骤：克隆Ubuntu虚拟机、加载RDMA内核模块、绑定RXE设备，并演示ibv_rc_pingpong、rping及perftest工具测试，涵盖SEND/READ/WRITE三种操作。适合AI网络工程师与RDMA初学者快速搭建可复现的RDMA实验平台，彻底理解RDMA通信原理与perftest参数含义。

虚拟机

Ubuntu

2026上云采购 | AI焕新·智启新局

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

在笔记本VMware虚拟机中，通过Soft-RoCE（RXE）模拟RoCEv2，实现无Mellanox网卡的RDMA学习环境。文章提供完整实验步骤：克隆Ubuntu虚拟机、加载RDMA内核模块、绑定RXE设备，并演示ibv_rc_pingpong、rping及perftest工具测试，涵盖SEND/READ/WRITE...

零成本学 RDMA：VMware 虚拟机搭建 Soft-RoCE 环境，从建链到带宽测试一次搞定-腾讯云开发者社区-腾讯云

零成本学 RDMA：VMware 虚拟机搭建 Soft-RoCE 环境，从建链到带宽测试一次搞定

零成本学 RDMA：VMware 虚拟机搭建 Soft-RoCE 环境，从建链到带宽测试一次搞定

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐