首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >绕开网络让应用直接读写磁盘

绕开网络让应用直接读写磁盘

作者头像
Hammerspace
发布2025-07-27 12:53:00
发布2025-07-27 12:53:00
2370
举报
文章被收录于专栏:NFSNFS

Hammerspace Tier 0专为世界上最苛刻的工作负载而设计,提供对任何地方数据的无缝、高速访问。Tier 0非常适合人工智能、HPC和管理大量非结构化数据,可以消除瓶颈并最大限度地提高性能。

《方案架构示意图》

实施步骤

  1. 服务器无需安装任何客户端程序,第0、1层和归档层均属于同一个命名空间
  2. 服务器Linux内核为6.12或以上
  3. 服务器本地磁盘卷通过NFS v3方式共享
  4. 在Hammerspace上识别服务器的共享磁盘卷后并为其创建NFS共享
  5. 服务器挂载由Hammerspace提供的NFS共享

技术剖析

得益于pNFSv4.2,使得Linux服务器与存储间的数据路径可以自动分为元数据路径和数据路径,有效降低存储负载并提升性能。更多技术说明请查阅为什么pNFS现在比以往任何时候都更重要?NFS-SSD(以太网直连SSD)如何改变游戏规则

服务器本地NVMe磁盘通常被闲置,即便其性能高于外部存储,因为数据流动困难,也无法有效实现数据保护。通过部署Hammerspace使得激活服务器本地NVMe磁盘,使其成为Hammerspace全局文件系统中的一个存储层,并可通过Hammerspace数据编排功能对数据进行实时保护/备份。

使用Linux 6.12内核中NFS增强协议“LOCALIO” 可进一步减少延迟并最大限度地提高CPU/GPU利用率。当系统侦测到NFS Server和NFS Client位于同一台服务器时,其应用程序便可绕开所有障碍,直接对NVMe磁盘进行读写。

将服务器本地磁盘与任意外部存储纳入Hammerspace全局命名空间,实现数据高效流动和实时保护。

使用Hammerspace数据编排功能,实现当 “数据A” 和 “数据B” 产生后,自动拷贝一份副本至外部存储,实现数据保护/备份。

LOCALIO(NFS旁路协议)协议简介

作为NFS客户端更新的一部分,已将LOCALIO协议扩展支持合并到Linux 6.12中,实现“极致”性能提升。

LOCALIO协议支持允许NFS客户端和服务器位于同一主机上。如果它们位于同一主机上,则会绕过用于读/写/提交操作的网络RPC协议。由于绕过XDR和RPC进行读/写/提交,因此使用LOCALIO协议可以大大提高性能,这对容器用例(例如kubernetes)特别有用,在这些用例中可以在服务器上运行IO作业。

使用LOCALIO的性能优势在文档中被描述为“极端”,并证明在具有许多libaio线程的情况下,4K读取的性能提高了10倍以上。

来源:https://docs.kernel.org/filesystems/nfs/localio.html

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-12-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 悍亩尔空间 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档