Hammerspace Tier 0专为世界上最苛刻的工作负载而设计,提供对任何地方数据的无缝、高速访问。Tier 0非常适合人工智能、HPC和管理大量非结构化数据,可以消除瓶颈并最大限度地提高性能。
《方案架构示意图》
实施步骤
技术剖析
得益于pNFSv4.2,使得Linux服务器与存储间的数据路径可以自动分为元数据路径和数据路径,有效降低存储负载并提升性能。更多技术说明请查阅为什么pNFS现在比以往任何时候都更重要?NFS-SSD(以太网直连SSD)如何改变游戏规则
服务器本地NVMe磁盘通常被闲置,即便其性能高于外部存储,因为数据流动困难,也无法有效实现数据保护。通过部署Hammerspace使得激活服务器本地NVMe磁盘,使其成为Hammerspace全局文件系统中的一个存储层,并可通过Hammerspace数据编排功能对数据进行实时保护/备份。
使用Linux 6.12内核中NFS增强协议“LOCALIO” 可进一步减少延迟并最大限度地提高CPU/GPU利用率。当系统侦测到NFS Server和NFS Client位于同一台服务器时,其应用程序便可绕开所有障碍,直接对NVMe磁盘进行读写。
将服务器本地磁盘与任意外部存储纳入Hammerspace全局命名空间,实现数据高效流动和实时保护。
使用Hammerspace数据编排功能,实现当 “数据A” 和 “数据B” 产生后,自动拷贝一份副本至外部存储,实现数据保护/备份。
LOCALIO(NFS旁路协议)协议简介
作为NFS客户端更新的一部分,已将LOCALIO协议扩展支持合并到Linux 6.12中,实现“极致”性能提升。
LOCALIO协议支持允许NFS客户端和服务器位于同一主机上。如果它们位于同一主机上,则会绕过用于读/写/提交操作的网络RPC协议。由于绕过XDR和RPC进行读/写/提交,因此使用LOCALIO协议可以大大提高性能,这对容器用例(例如kubernetes)特别有用,在这些用例中可以在服务器上运行IO作业。
使用LOCALIO的性能优势在文档中被描述为“极端”,并证明在具有许多libaio线程的情况下,4K读取的性能提高了10倍以上。
来源:https://docs.kernel.org/filesystems/nfs/localio.html