DPU-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

DPU

AI算力,网络,存储等加速, 卸载, 隔离, 欢迎对DPU/智能网卡/卸载/网络,存储加速/安全隔离等技术感兴趣的朋友加入DPU技术交流群

专栏成员

59

文章

59016

阅读量

37

订阅数

Nvidia_Mellanox_CX5和6DX系列网卡_RDMA_RoCE_无损和有损_DCQCN拥塞控制_动态连接等详解-一文入门RDMA和RoCE有损无损

linux 存储 network 高性能网络

随着互联网, 人工智能等兴起, 跨机通信对带宽和时延都提出了更高的要求, RDMA技术也不断迭代演进, 如: RoCE(RDMA融合以太网)协议, 从RoCEv1 -> RoCEv2, 以及IB协议, Mellanox的RDMA网卡cx4, cx5, cx6/cx6DX, cx7等, 本文主要基于CX5和CX6DX对RoCE技术进行简介, 一文入门RDMA和RoCE有损及无损关键技术

2023-07-23

9.1K9

置顶

Intel E810-iRDMA网卡-Linux内核驱动和用户态源码分析

linux 高性能内核

用户空间直接访问 (UDA) 旨在以通用方式提供用户空间访问队列，但 E810 不支持此功能。 UDA 仅在内核中可用，并且仅限于 iWARP 连接设置和错误处理。 UDA 在用户空间中不可用

2024-04-25

1.4K0

置顶

Linux源码分析-RDMA的通信连接管理CM模块

云计算高性能网络通信

RDMA CM 是一种通信管理器，用于设置可靠、连接和不可靠的数据报数据传输。它提供用于建立连接的 RDMA 传输中立接口。 API 概念基于套接字，但适用于基于队列对 (QP) 的语义：通信必须通过特定的 RDMA 设备进行，并且数据传输基于消息。 RDMA CM 可以控制 RDMA API 的 QP 和通信管理（连接建立/拆除）部分，或者仅控制通信管理部分。它与 libibverbs 库定义的 verbs API 结合使用。 libibverbs 库提供了发送和接收数据所需的底层接口。 RDMA CM 可以异步或同步操作。用户通过在特定调用中使用 rdma_cm 事件通道参数来控制操作模式。如果提供了事件通道，rdma_cm 标识符将报告该通道上的事件数据（例如连接结果）。如果未提供通道，则所选 rdma_cm 标识符的所有 rdma_cm 操作将被阻止，直到完成。 RDMA CM 为不同的 libibverbs 提供商提供了一个选项来宣传和使用特定于该提供商的各种 QP 配置选项。此功能称为 ECE（增强连接建立）

2024-04-27

9370

置顶

RDMA-Perftest中发送带宽测试时NVIDIA_MLX提交WR新接口调用栈分析

通信网络网络通信网络协议高性能

https://github.com/linux-rdma/rdma-core/commit/0d6f52347438379c905614b1bc32f824cf0cfc36

2025-02-23

930

文件系统基准测试应用IOR-简介

hpc 存储技术高性能计算存储并行存储

IOR（交叉或随机）是一种常用的文件系统基准测试应用程序，特别适合评估并行文件系统的性能。该软件通常以源代码形式分发，通常需要在目标平台上编译。IOR 不是特定于 Lustre 的基准测试，可以在任何符合 POSIX 的文件系统上运行，但它需要完全安装和配置的文件系统实现才能运行。对于 Lustre，这意味着必须安装、配置和运行 MGS、MDS 和 OSS 服务，并且有一组 Lustre 客户端节点在运行，并安装了 Lustre 文件系统

2025-02-04

970

Google Falcon 传输协议规范V0.9[译]

网络通信网络协议通信网络网络传输协议

本规范的贡献均根据开放网络基金会贡献者许可协议（“OWF CLA 1.0”）（“贡献许可”）中规定的条款和条件进行：Google 本规范的使用受开放网络基金会最终规范协议（“OWFa 1.0”）中规定的条款和条件的约束

2025-01-31

1040

RDMA over Falcon Transport V1.0

高性能通信网络网络通信网络协议

规范修订版 1.0 提交日期：2024 年 4 月 4 日批准日期：待定, 作者：Prashant Chandra，Google

2024-12-29

1120

RDMA - IB SPEC 错误检测和处理以及IntelE810异步事件源码分析

网络传输协议网络协议高性能通信网络

IBA 使用分层错误管理架构 (LEMA) 方法。每个级别负责检测和管理适合该层的错误，然后再将数据包或消息传递到堆栈中的下一层。因此，传输层会响应传输特有的错误，包括数据包头中的错误和无法正确传输消息。在传输层中检测到的错误会报告给传输的客户端。在本节中，传输层与其客户端之间的接口在概念上显示为发送或接收队列。对于 HCA，传输通过将完成代码写入完成队列 (CQ) 上的完成队列条目 (CQE) 来向其客户端指示错误。与往常一样，TCA 可以根据自己的需要自由报告错误（或不报告）。为了简化讨论，将分别讨论请求方和响应方的错误行为。这会导致以下部分中描述请求方和响应方错误的摘要表之间出现少量重复。具体而言，当响应方检测到错误并报告给请求方时，就会发生重叠。然而，这些重叠区域严格限于可靠的服务类别。请求者向其客户端报告的错误分为两类。

2024-12-28

1582

RDMA - 通信库Libfabric的verbs实现(GDR概览)

通信网络网络通信网络协议高性能

Libfabric: https://github.com/ofiwg/libfabric.git

2024-12-28

1960

RDMA技术 - Nvidia DPU_MLX5驱动手册 - 完成队列

网络网络协议高性能计算高性能通信

HCA 实现完成队列，用于在工作请求完成后发布完成报告。本节讨论 CQ 的结构和操作。CQ 是一个包含以下实体的对象：

2024-12-21

2520

RDMA技术 - 请求事件SE(SOLICITED EVENT)-降低CPU开销

通信网络网络通信网络协议高性能

请求事件是一种机制，请求方发送消息，当响应方收到消息时，响应方会生成特殊（即请求的）事件。当工作完成添加到响应方（在接收队列中）的完成队列时，将为消息生成事件，因此它仅对发送(SEND)、立即发送(Send with immediate)和 RDMA 立即写入(Write with immediate)操作有效（因为只有这些操作会在响应方生成工作完成）

2024-12-21

1400

Intel E810网卡芯片架构简介及以太内核驱动初始化源码分析

网络协议芯片高性能网络网络通信

E810 基于 100G 以太网控制器核心模块，该模块用于多种英特尔产品。图 1-1 说明了控制器核心逻辑与组成完整 E810 设备的 I/O 和支持功能之间的关系

2024-12-14

2710

Intel E810/ICE DPU RDMA 及MLX中断原理分析(CE/AE)

内核网络网络通信操作系统高性能

E810 与生成完成事件的动词规范定义在两个方面略有不同。首先，如果 CQE 似乎尚未由软件处理（读取门铃阴影区域后，Head != Tail），E810 会为准备下一次完成的 CQ 生成完成事件，而无需等待生成新的完成。其次，E810 不会跟踪自上次完成事件以来生成的请求事件的确切位置。如果自上次生成完成事件以来已经生成任何请求事件完成，并且似乎 CQE 尚未由软件处理，E810 会为请求事件操作生成完成事件。E810 为事件生成准备 CQ 的过程只是首先写入 CQ 阴影区域中的相应位以启用下一个或下一个请求完成通知事件，增加 arm_seq_num，然后写入 PFPE_CQARM 寄存器（参见第 13.2.2.28.8 节）。然后，E810 读取影子区域，并使用 CQ 上下文立即生成新的完成事件（如果 CQ 有未处理的 CQE 剩余），或者在写入后续 CQE 后启用 CQ 以生成新事件。如前所述，在某些情况下可以推迟完成事件。E810 维护在 CQ 上下文中上次启用请求期间读取的最后一个 arm_seq_num 值的副本。E810 在启用请求期间将 CQ 影子区域中的 arm_seq_num 值与 CQ 上下文中的值进行比较，并删除影子区域和 CQ 上下文中具有相同值的启用请求。除非应用程序也可以访问 CQ 影子区域，否则此比较可防止恶意应用程序的 CQ 启用请求更改 CQ 的启用状态。使用 E810 的 CQ 调整大小操作涉及四个步骤。1. 根据应用程序请求的新大小在主机内存中分配新的 CQ。2. 向 E810 发出修改 CQ 操作。修改 CQ 操作通知 E810 开始将新 CQ 用于新 CQE。3. 完全处理旧 CQ 中的 CQE。4. 释放旧 CQ 的缓冲区后，开始处理新 CQ 中的 CQE。当在旧 CQ 中发现无效 CQE 并且在新 CQ 上遇到至少一个有效 CQE 时，可以认为旧 CQ 已完全处理

2024-12-01

2050

如何优化DPU上存储协议(NVMe Over TCP)卸载的性能?

分布式存储高性能协议存储存储技术

NVMe-TCP 是一种基于 TCP 的高性能流水线存储协议，它抽象了对存储控制器的远程访问，为主机提供了本地存储的幻觉。在 NVMe-TCP 中，每个存储队列都映射到一个 TCP 套接字。读写 IO 操作都有一个唯一标识符，称为命令标识符 (CID)，服务器可以无序处理 CID，以允许小 IO 绕过大 IO 并提高性能。此外，每个 PDU 都受发送方生成并在接收方验证的应用层 CRC 保护。

2024-11-23

2890

RDMA的内存管理(IB内核管理用户态内存) - ib_umem

网络协议高性能通信网络网络通信

从内核模块暴露IB内存接口: ib_umem_get()/ib_umem_release() ，可让低级驱动程序控制何时调用 ib_umem_get() 来pin和 DMA 映射用户空间，该方案优于以前在调用 ib_uverbs_reg_mr 中的 reg_user_mr 前后的处理逻辑。还将这些函数移至 ib_core 模块而不是 ib_uverbs 中，以便使用它们的驱动程序模块不依赖于 ib_uverbs。这具有许多优点：

2024-11-17

3060

SPDK与iscsi_initiator及libiscsi库源码分析

存储存储技术高性能存储虚拟化

SPDK initiator模块可与远端的iscsi_tgt配合, 将SPDK的块存储bdev拉远到TGT端, bdev除了可对接iscsi, 还可对接ceph_rbd, nvmeof_tgt等

2024-10-26

1800

DPU(IPU)使用 CXL 提升存储堆栈或服务工作流的软硬件处理流水线-INTEL

存储云计算存储技术分布式存储高性能

• 使用 CXL 连接的设备内存（即 CXL.mem）作为 CPU+DPU 共享内存

2024-09-21

2150

XPU - 利用 RAID 卸载重新定义数据冗余(部分功能卸载到SSD)

云计算存储技术分布式存储高性能存储

XPU: xPU 代表一系列架构（即 CPU、GPU、FPGA 和其他加速器），具体取决于应用

2024-09-18

2510

DPU/IPU SPDK存储卸载之用户态vfio(vfio_user)

虚拟化高性能存储虚拟化存储云计算

IPU: Infrastructure Processing Units (lPUs), 基础设施处理单元(硬件卡), 如存储处理/卸载到IPU

2024-09-01

4912

Intel FPGA 100G VF(IFCVF) DPDK用户态VDPA设备probe探测流程

云计算虚拟化高性能内核通信

callfd: host侧IO处理完成后, 如果是split vring, 则将结果写入vring used字段, 然后写callfd通知qemu/guest

2024-08-04

2750

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态