NVMe-oF 扩展HDD硬盘的可行性

按：本文可在 Viking Enterprise：企业存储的分层视角基础上进一步阅读，加深对数据中心存储分层的理解，本文重点分析HDD上实现NVMe改造的可行路径。

要点概览

• NVMeoF 被认为是未来数据中心互联和数据传输的高速通道，构建起节点内外的数据访问，这在SSD领域已成为不争的事实，然而海量数据仍存储在HDDs 上，如何基于NVMe 扩展机械硬盘存储？
• 文中详细讨论了三种不同类型的HDD解决方案：基于CPU的解决方案、原生NVMe解决方案以及通过以太网连接的HDD方案，并对它们的优势与劣势进行了比较分析

• NVMeoF 是一种允许以太网接口将设备连接在一起的网络协议。
  • NVMe 是一种比其他协议更轻量级的协议，能更好地利用 CPU 周期和可用的系统带宽。
  • 更低的延迟、更好的存储管理和配置。
  • 更好地实现计算和存储的分离。
• 最初旨在将固态硬盘 (SSD) 连接到 PCIe 总线上，但可以扩展到将其他设备（如旋转硬盘 (HDD)）连接到 PCIe 总线上。
• 采购成本较高，但运营成本较低且简化了企业管理。
• 为了使存储能够迁移到无处不在的 NVMe，在这个领域必须有一个硬盘驱动器 (HDD) 解决方案。

Note：企业、云数据中心近80%的数据存储在相对廉价的HDDs介质上，适配NVMe 的HDD方案，或许能为企业级AI降低点SSD的成本，短期来看云数据中心大规模使用的可能性不大。

基于NVMe 统一多级存储接口的优势

• 整个企业通用的接口。
• 利用现有的以太网连接性
  • 消除基础设施内的多种协议接口。
  • 降低基础设施成本。
  • 简化基础设施管理。
• 我们都知道如何管理基于以太网的设备。
• 实现企业管理的统一管理界面。
• 更有效地利用带宽和可用资源。

存在的问题

• 并非所有设备类型都支持 NVMe oF 连接。
• 并非所有存储设备层级都有 NVMe 可用。
  • 用于在线、近线和离线 / 冷存储的硬盘层级（HDD tier）并非原生支持 NVMe。
  • 硬盘层级可以被改造以支持 NVMe 前端，但这会显著增加采购成本。
• 实现基于硬盘（HDD - based）且具备 NVMe 能力的解决方案的方法：
  • 添加一个运行在目标模式下的带有 NVMe 适配器的计算节点（类似于支持SAS/iSCIS的协议网关）。
  • 为基于硬盘的输入 / 输出模块（IOMs）添加原生 NVMe 前端。
  • 以太网连接的硬盘（Ethernet - connected HDDs）。
• 这些方法在使企业能够淘汰 SAS（或其他协议）的同时，增加了解决方案的采购成本，后文会逐一介绍。

CPU 基于 HDD 的解决方案

• 最简单的方法是利用 NVMe 网络接口卡（NIC）的存储服务器来提供原生的 NVMe 连接。
• 不是首选解决方案：
  • 由于 CPU 复杂性成本，导致成本更高。
  • 需要为 CPU 和 NIC 编写目标模式软件。
  • 任务对 CPU 性能需求过高，因此不是一种高效的解决方案。
  • CPU 复杂性占用大量空间，导致硬盘驱动器密度降低。
• 可行，但不是一种成本有效的解决方案。

如何理解：目标模式软件（target mode SW ） ？

目标模式是存储设备或网络设备的一种工作模式：

• 目标模式（Target Mode）： 设备作为请求的接收端，主要负责处理发起端发送的请求（例如，读写操作）并提供数据服务。
• 对应的模式是发起模式（Initiator Mode），通常用于主动发起请求的设备（例如主机或服务器）。

在存储领域，目标模式广泛用于协议如 NVMe-oF（NVMe over Fabrics） 和 iSCSI 等，这些协议允许存储设备以目标的方式工作，处理远程主机的读写请求。

• 在该 CPU 基于 HDD 的解决方案中，CPU 和网络接口卡（NIC）需要运行目标模式软件。
  • CPU： 必须支持目标模式协议（如 NVMe-oF），以便响应远程主机的读写请求。
  • NIC： 需要与 CPU 协作，将主机的网络请求翻译为存储协议请求（如 NVMe 协议）。

这意味着，目标模式软件不仅需要在 CPU 上开发和优化，还需适配 NIC，以确保整个数据处理链路的高效和稳定。

基于CPU扩展的 NVMe-HDD 方案

• 带有 60 - 66 个硬盘驱动器（HDDs）的 4U 机箱。
• 基于 CPU 的解决方案（x86 级别的 CPU）。
• 支持原生 NVMe 连接到硬盘驱动器（HDDs）。
• CPU 的高级功能往往未得到充分利用。

原生 NVMe HDD 解决方案

• 将 NVMe NIC 和 SAS HBA 集成到一个外壳中。
• 为外壳提供原生的 NVMe 前端接口，同时支持 SAS HDD。
• 提供最具成本效益的解决方案：
  • NIC 芯片的成本远低于 CPU。
  • 更有效地利用空间，从而实现更高密度的外壳。
  • 仍然需要为 NIC 编写软件以及在 NVMe 和 SAS 之间进行翻译。
  • 更低的功耗。
• 这是当前实现 NVMe 附加 HDD 的最具成本效益的解决方案。

形态可以参考：

方案示例

解决方案展示了一种高密度存储设备（4U 机箱，支持 102 个 HDD），通过原生 NVMe 连接提供高可用性和性能。使用 NIC 的高级功能实现效率提升，同时降低了设备的采购成本，是一个优化的存储解决方案示例。

以太网连接硬盘（HDDs）

• 这个概念已经存在多年。
• 硬盘接口被原生以太网或 NVMe 前端所取代。
• 简化了机箱设计并减少了新的软件内容。
• 除非三家硬盘供应商中的两家采用这种方法，否则大规模应用可能会受到限制。
• 这种方法在未来可能会得到应用，然而，从历史上看，这种方法并没有成功。

前进之路

1. 推动企业采用 NVMeoF 和以太网作为通用的架构连接。
2. 减少 / 消除企业中的 SAS 和其他协议。
3. 利用现有工具为企业实现单一管理界面的方法。
4. 采用支持 NVMe 的硬盘解决方案用于存储层级。
5. 将整个存储层级迁移到 NVMeoF。