首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

微软:AI存储,SSD or HDD ?

全文概述 本文由Shashidhar Joshi和Swapna Yasarapu两位来自微软的负责人共同呈现,着重讨论人工智能模型训练过程中的数据处理、存储需求与优化策略,文末讨论HDD or SSD发展现况与趋势...数据转移到HDD层做长时保留 • 存储层的性能/容量,随GPUs数量及训练次数弹性扩展 AI模型训练前,要完成数据Tokenization/ Vectorization,用什么专用软件来实现?...存储层次结构:系统采用了多层存储架构,包括缓存、Blob存储(对象存储引擎)、SSD和HDD,以平衡性能和容量需求。 2....• 数据分层:最新检查点保存在SSD上以保证快速访问,旧数据则存储在HDD上以节省成本。 4. 性能优化: • 低延迟访问:利用SSD存储最近的检查点数据。...); • HDD的成本虽然较低,但带宽性能仍无法达到目前需求,需增长8-10x; • SSD朝着更高带宽/吞吐量前进,需在当前水平提升50-100x; Fig-7 1.

14010
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    HDD(机械硬盘)与SSD(固态硬盘)

    速度:龟兔赛跑的现实版由于工作原理上的差异,HDD和SSD在速度方面的表现也天差地别。HDD的读写速度受限于磁盘的旋转速度和读写磁头的移动速度。...尽管现代的HDD技术已经大幅提升了这些速度,但它们依然无法与SSD相比。HDD在处理大量随机读写操作时表现尤其不佳,因为磁头需要频繁地在盘片之间移动,这就像乌龟在树林中慢慢寻找食物。...容量与价格:性价比的权衡在容量和价格方面,HDD依然占据优势。HDD的制造成本较低,因此在相同价格下可以提供更大的存储容量。...通过以上的分析,我们可以看到HDD和SSD各有优缺点,适用于不同的使用场景。如果你需要大容量且预算有限,HDD依然是不错的选择;而如果你追求高速度、低能耗和更好的耐用性,SSD则是不二之选。...无论是HDD还是SSD,它们都是数据存储领域不可或缺的“战士”,在不同的战场上各自闪耀着光芒。

    21400

    Seagate:HDD在AI时代的价值

    理解HDD在成本、容量和可持续性方面的优势,及其在生成式AI中的核心作用。 掌握NAND产业的投入产出比,分析HDD替代的经济性。 认识生成式AI对数据增长的推动作用,以及对存储技术的未来挑战。...此外,图表展示了在不同容量下,SA-HDD和DA-HDD的带宽和比率的变化。...也就是说,1单位的SSD带宽需要配备20单位的HDD带宽。在这种情况下,HDD的带宽远低于SSD。...在云存储应用中为1比10:在云存储应用中,SSD与HDD之间的带宽比例为1:10,表示SSD的带宽是HDD的10倍。相比带宽匹配应用,云存储对带宽的要求较低,因此比例较小。...WD:HDDs 一直都在 该文章详细探讨了硬盘驱动器(HDD)在数据中心中的地位,指出尽管固态驱动器(SSD)在某些应用中逐渐替代HDD,但HDD仍然是主要的存储设备。

    11210

    硬盘驱动器 (HDD) 存储架构

    本文将详细介绍 HDD 的存储架构,包括内部组件、工作原理和数据组织方式。2. HDD基础知识2.1 HDD的基本构造磁盘:硬盘中最重要的部分就是磁盘,它是由一个或多个金属盘片组成的。...2.4 HDD尺寸主流的硬盘中,有3.5寸和2.5寸2种,不同硬盘厂商的外形尺寸都在公差范围内,差异极小。...HDD工作原理3.1 HDD磁性原理简介硬盘驱动器的工作原理基于磁性材料的性质。当磁盘旋转时,读写头可以在磁盘表面移动,访问不同的磁道。...3.3 数据编码与错误检测HDD(硬盘驱动器)是一种非易失性存储设备,用于长期存储数据。在HDD中,数据以磁化的形式存储在磁盘表面上的磁性材料上。...当HDD检测到错误时,通常会尝试使用纠错编码中的冗余信息来纠正错误。如果无法纠正错误,HDD会报告一个错误,并要求用户采取相应的措施,如重新读取数据或修复硬盘。

    49110

    相比SSD,HDD现在的唯一优势只有价格?

    但是在这60年里,HDD的技术却没有发生革命性的变化。...HDD和磁带一直统治着桌面和数据中心存储世界,直到近十年左右的时候,NAND闪存固态盘开始走向成熟,以至于在容量方面媲美甚至超越了HDD,而且速度和可靠性更好,成本也越来越低。...大多数专家认为,固态硬盘注定会取代HDD成为主要的存储介质。但是从今天来看,在SSD和HDD之间做出选择还没有直接的答案,而且这也是个遥遥无期的话题。...与HDD不同,SSD没有活动的部件,取而代之的是SSD将数据写入和存储在闪存芯片上。...成本始终是决定HDD或SSD在存储任务中一项关键因素,特别是由于SSD当前的价格是同类HDD的四到五倍。因此,在选择的时候,需要综合来选择是否用HDD还是SSD。

    56520

    NVMe接口优化:HDD存储的未来之路

    NVMe-HDD统一存储堆栈与TCO效率 分析了NVMe-HDD如何通过统一存储堆栈减少服务器DAS与JBOD存储的TCO和功耗。...原生SOC三模(SAS,SATA和NVMe)端口 是过渡所必需的 EDU1 – OCP演示2022 —— 因SATA连接器规范合规问题被推迟 EDU2 – 2023年采样 —— 通过80% 驱动程序 Linux...主机内存缓冲的应用价值 图讨论了HMB如何通过加速HDD的启动时间、释放元数据扇区以及提高HDD的NVC容量,从而在提高性能的同时降低功耗,优化HDD的整体性能和总拥有成本(TCO)。...NVMe驱动程序为存储域中的每个HDD创建主机内存缓冲区(HMB)窗口,NVMe驱动程序将每个唯一的HDD序列号元数据填充到每个HDD的HMB中,从而使HDD能够启动。 A....HDD的NVC可以是已记录的或单次存储的,存储在这些CPU/DPU NVM的HMB分区中,而不是HDD的较慢NOR或NAND中,从而使得HDD的NVC容量大幅增加,降低延迟、提高性能并减少功耗。

    8310

    NVMe-oF 扩展HDD硬盘的可行性

    按:本文可在 Viking Enterprise:企业存储的分层视角基础上进一步阅读,加深对数据中心存储分层的理解,本文重点分析HDD上实现NVMe改造的可行路径。...文中详细讨论了三种不同类型的HDD解决方案:基于CPU的解决方案、原生NVMe解决方案以及通过以太网连接的HDD方案,并对它们的优势与劣势进行了比较分析 NVMeoF 是一种允许以太网接口将设备连接在一起的网络协议...为了使存储能够迁移到无处不在的 NVMe,在这个领域必须有一个硬盘驱动器 (HDD) 解决方案。...原生 NVMe HDD 解决方案 将 NVMe NIC 和 SAS HBA 集成到一个外壳中。 为外壳提供原生的 NVMe 前端接口,同时支持 SAS HDD。...这是当前实现 NVMe 附加 HDD 的最具成本效益的解决方案。

    7610

    HDD还能撑多久?六年,也许并非危言耸听

    而且,SSD替代HDD,影响的不仅仅只有成本,使用SSD还能够大幅节省企业机房的空间,而且采用HDD,还会带来散热、维护、电源等方面成本的增加。...除了这些,HDD还要比SSD慢很多,解决HDD性能的唯一方法就是采用多控制器或增加更多的缓存,但是这两种方式都将提高HDD 每GB的成本,因此使得SSD比我们想象的更吸引人,这会将HDD推向真正的低使用状态...但是HDD完全被SSD替代也不可能,HDD在一些特定领域还是有着自己的独特价值,例如在存储冷数据和数据备份的领域,HDD的低成本还是能够占据一定的市场,这与当前的磁带状态会比较像,虽然不会被完全替代,但是...HDD市场空间会逐渐被压缩,直到微不足道的地位。...而HDD要想能够在市场上有更持续的表现,数据中心的扩展能力将起到很大的作用,甚至决定HDD的存在时间。

    43810

    拐点来临:SSD年内出货量有望首超HDD!

    2018年存储市场有望发生标志性事件:SSD出货量首次超过HDD,迎来市场真正的拐点!...而在消费级SSD市场领域,统计数据显示消费级SSD本季度出货量已经非常接近HDD,有望在今年实现对消费级HDD出货量的超越。 ?...市场观察 SSD取代HDD这个话题已经谈了很多年,虽然HDD市场表现逐年下滑,但依然占据着巨大的市场份额和出货量。受困于这两年NAND市场价格高居不下,某种程度延缓了HDD衰退的步伐。...不过SSD的大趋势不可能逆转,随着本季度在消费级SSD市场,SSD出货量接近HDD出货量,SSD市场的拐点在今年有望真正到来,未来随着NAND工艺、容量的提升,NAND的成本进一步下降,加速拉开HDD的市场差距指日可待...事实上,在企业级市场,企业级SSD的容量和出货量已经超过了传统高性能HDD,随着消费级SSD实现对HDD的超越,未来一个大容量、高性能的闪存时代有望加速到来!

    76220
    领券