H3：CXL 内存共享架构与解决方案

目录

1. CXL架构：可组合架构与Fabric管理器

2. CXL内存应用：内存数据库和AI应用

3. CXL内存系统：硬件和软件规格

4. CXL实现：CPU、CXL交换机、CXL内存和操作系统

5. 测试结果：CXL测试结果

关于 H3 Platform[1]

公司总部位于台湾新北市-新止区，成立于 2014 年，旨在成为领先的组合型基础设施解决方案提供商，工程团队在磁盘阵列相关固件/BIOS、软件应用程序、设备驱动程序和 PCIe 相关技术方面拥有超过 15 年的专业经验。

图片展示了一个基于CXL的可组合PCIe系统架构，其中多个计算节点通过以太网交换机与CXL内存机箱和GPU机箱相连。该系统的关键组成部分包括Fabric管理、CXL交换机和E3.S CXL内存模块，实现了物理解耦和资源的动态组合。

Note：基于此架构（PCIe），在数据中心机架上增加新的CXL内存解耦层，为CPU和GPU节点提供独立、大容量DRAM空间。

E3.S 接口的CXL 内存扩展，形态上类似一台存储设备，差异在于不是基于网口/光口实现存储挂载，而是基于PCIe 5.0 进行内存数据交换。

内存扩展机箱的前视角

内存扩展机箱的后视角

不同拓扑架构下的CXL内存访问时延（ns）

Note：昨天整理的文章里，有关于拓扑架构和时延更详细的介绍。

参考阅读：

• • XConn：CXL内存应用的带宽和时延

不同拓扑结构下的CPU访存路径，解释了上一张图片中的访存时延差异。

关于 Retimer

Retimer 是一种专用的信号处理器件，主要用于高速度和长距离的数据传输过程中，解决信号完整性和信号质量的问题。以下是其核心功能和作用的详细解释： 1. 信号放大与重定时 在高速传输中，信号会随着距离增加而逐渐衰减，特别是当数据通过物理连接（如电缆、主板走线或连接器）时，可能会出现信号失真或噪声干扰。Retimer通过以下方式来恢复信号质量： 放大信号：对传输信号进行再生，提高信号强度，克服信号衰减。 重定时（Resynchronization）：对信号时序进行校正，减少由于传输延迟或抖动（jitter）引起的时序错误。 2. 错误校正与延迟优化 Retimer还可以： 错误校正：检测并纠正传输过程中的小范围错误，确保数据准确性。 降低延迟：通过优化信号路径和减少时序偏移，确保数据快速、低延迟地传输。 3. 关键应用场景 在CXL（Compute Express Link）和PCIe（Peripheral Component Interconnect Express）等高性能互连协议中，Retimer被广泛用于： 长距离链路延伸：比如从CPU到内存或从CPU到GPU的长距离通信。 高速数据链路：当链路速度达到16Gbps甚至更高（如PCIe 4.0、5.0和6.0）时，Retimer变得尤为重要，用于确保信号可靠传输。

图表展示了不同内存连接方式下的MLC（Memory Load and Control）带宽表现。结果显示，使用交换机连接的CXL（Switch-attached CXL）配置具有最高的带宽（33.8），优于DDR直接连接和直接连接的CXL，而通过TOR CXL交换机连接的CXL带宽为27。

Note：与DIMM直连的DDR相比，CXL Switch 互联的内存池设备能提供更高的带宽，这一点是出乎意料的，可能互联设备的PCIe 通道数（PCIe 5.0 ×16）相关。

软件功能 FALCON C5022

Fabric Manager

• • 可组合的主机间内存共享
• • 内存动态添加和移除
• • CXL端口配置到主机或设备端口
• • 可配置的主机内存地址
• • 链接能力和状态

Management Interface（管理接口）

• • 支持Redfish®、RESTful API、GUI

Note：FALCON C5022 即前面图示的硬件设备，在提供大容量内存扩展之余，该设备还支持如上软件定义的灵活功能。

Note：EMR即 基于Intel 7制程工艺的Emerald Rapids（2023）。

CPU 平台现况

CXL 1.1 服务器

• • CXL 交换机被枚举为 CXL 1.1 服务器的直接连接 CXL 内存模块。
• • 内存地址是连续的，且应进入主机内存地址空间。
• • 内存不支持热插拔。
• • 不同 CPU 平台的 BIOS 配置不同。

CXL 2.0 服务器

• • 将实现 VCS 模式解决方案。

关于 VCS 模式解决方案

在 CXL（Compute Express Link）技术中，VCS 模式通常指的是“Virtual Channel Support”模式。这种模式提供了一种解决方案，允许通过虚拟通道（Virtual Channel，简称 VC）对资源进行更灵活的管理和分配。VCS 模式解决方案在 CXL 2.0 和后续版本中被引入，用于改进内存访问效率和资源分配灵活性，尤其是在多主机共享内存或设备资源的环境中。 VCS 模式解决方案允许实现更灵活的内存和设备资源管理，特别适合用于以下场景：

• • 高性能计算（HPC）：在 HPC 系统中，不同计算节点可以通过 VCS 模式共享同一内存资源，从而提高计算效率。
• • 数据中心资源共享：支持多个服务器节点在同一平台上共享内存模块，降低硬件成本并提高内存利用率。
• • 混合工作负载管理：通过虚拟通道的优先级分配，可以更好地管理混合工作负载，确保关键任务的优先访问权。

Note：当前CPU平台基本具备对CXL1.1特性的支持，对CXL2.0内存池化将基于VCS模式来实现，目前CPU尚不支持。

CXL Switch 现况

• • 目前只有一个交换机供应商（XConn）
• • 正在处理最新发布的芯片组
• • 生态系统支持对于 CXL 2.0 部署至关重要，特别是在 CPU 平台和操作系统方面

Note：从CXL可用性上来分析，1.0路线支持的内存扩展的场景相对受限且不够灵活，CXL Switch是2.0提出的，尚处发展前期，且高度受限与CPU（Intel）厂商的技术路径和操作系统支持，生态并不健全。

CXL 内存控制器和重定时器现况

CXL Memory Controller（CXL 内存控制器）

• • 已发布 3 种主要的 CXL 内存控制器
• • 不同的 CXL 内存控制器使用不同的诊断工具

CXL Memory Modular（CXL 内存模块）

• • E3.S 是标准的外形规格，但高密度的 E3.S 成本过高。
• • 针对 CXL 内存控制器的特殊 RAS 测试工具

经验：重定时器

信号完整性、分叉、复位、热管理

• • 重定时器应在服务器插槽中进行测试，以确保信号完整性
• • 分叉、时钟和复位设计
• • 高速重定时器需要额外的冷却

经验：管理和 API

Orchestration and API（编排和 API）

许多联盟正在为可组合解决方案的标准编排和 API 进行研发

Management path（管理路径）

PCIe 设备的管理路径

• • 以太网（用于数据或管理路径）
• • PCIe 带内
• • I2C 带外

右侧的架构图显示了一个典型的管理路径架构，其中包括多个主机和一个 CXL 交换机，各主机通过以太网和 PCIe 等连接方式进行通信和管理。

引用链接

[1] 关于 H3 Platform: https://www.h3platform.com/