关键要点
1. 存储需求不断增长,需要存储更多数据。
2. 硬盘驱动器(HDD)仍然是数据中心主要设备。
3. 市场正在探索替代方案,如高密度固态硬盘和磁带存储。
4. 不同层次的数据需要不同的设备能力来满足需求。
WD:HDDs 一直都在-Fig-1
对存储的巨大需求
存储需求增长原因:
- • 医疗、科学、智能城市和车辆、体育等领域,都在寻求存储越来越大的数据集。
- • 保存所有这些数据的成本正在不断上升。
- • 人工智能和机器学习(AI/ML)增加了不保存数据的机会成本,同时增加了对保持更多数据活跃的需求。
- • 需要在不同层级和数据温度下存储更多的数据。
图表:
- • 2011年至2028年各类存储设备的原始容量出货量(单位为Zettabyte)。
- • 绿色部分代表HDD(硬盘驱动器)的出货量,提示“硬盘驱动器的安装容量继续增长”。
Note:HDD在温/冷数据存储领域的地位是无法撼动的,闪存火热有多重因素,一者周期回暖,二来AI、特征工程需求爆发。图注中的ent(enterprise)意指企业级市场。
WD:HDDs 一直都在-Fig-2
HDD 存储介质技术路标
1. PMR+ :
- Perpendicular Magnetic Recording,包括TDMR(Two-Dimensional Magnetic Recording),可能带有或不带有SMR(Shingled Magnetic Recording,瓦片式磁记录)。
- 这是现阶段主流的存储技术,在图表中开始于2018年,比特密度(每平方英寸的Tb)接近1。
2. E-PMR/MAMR:
- Enhanced PMR/Microwave-Assisted Magnetic Recording,增强型PMR,可以有或没有能量辅助,包括微波辅助磁记录技术(MAMR)。
- 这是未来几年逐渐普及的技术,能够进一步提高比特密度(每平方英寸的Tb)。
3. HAMR:
- Heat-Assisted Magnetic Recording,热辅助磁记录,通过局部加热磁介质来提高存储密度。
- 这一技术在2020年代中期出现,能够显著提高比特密度,是继E-PMR/MAMR后的下一代技术。
4. HAMR+:
- HAMR+ with ordered granular media,是具有有序颗粒介质的HAMR技术的增强版。
- 它比HAMR提供了更高的密度,计划在2030年前后应用。
5. HDMR/3D:
- Heated-Dot Magnetic Recording 和 3D-Dimensional Recording,加热点磁记录和三维记录技术。
- 这两项技术可能是2030年代之后的新兴技术,进一步提升比特密度。
WD:HDDs 一直都在-Fig-3
分层存储模型(Tiered Storage Model)
- 1. Tier 1:NVMe SSD
- • 最高性能,适合对存储性能要求极高的应用场景。
- • 代表超高性能存储,速度最快,价格最高。
- 2. Tier 2:HDD → QLC(QLC逐渐占据优势)
- • 性能较高,使用HDD和QLC(四级单元闪存),适合性能需求较高的场景。
- • 性价比较高,适用于热数据(高访问频率的数据)。
Note:QLC同样也作为SSD产品,但实际性能和Tier 1 的SLC/MLC仍有较大差距,在接口上使用PCIe也处于冗余状态,故云数据中心普遍使用不平衡架构设计,或采用SAS接口。
关于不平衡架构设计,参考:
- 3. Tier 3:HDD
- • 使用传统HDD,适用于活跃归档(Active Archive)数据,即访问频率较低但仍需活跃的文件。
- • 性能一般,但价格相对低廉。
- 4. Tier 4:Tape → HDD
- • 磁带和HDD结合的深度归档(Deep Archive),适用于冷数据(极少访问的数据)。
- • 成本最低,但速度最慢,适用于长期存储。
云端安装存储容量分布
- 1. SSD = 10%
- • 占存储的10%,用于需要高性能的存储需求。
- • 具备通用性、可靠性、且对温度不敏感,适合多种读写场景。
- 2. HDD = 81%
- • 占存储的绝大部分(81%),是数据中心的主要存储设备。
- • 具备成本低、供应链丰富、管理简单的特点,因此成为主力。
- 3. Tape = 9%
- • 占9%,主要用于归档冷数据,存储成本最低,但速度最慢。
WD:HDDs 一直都在-Fig-4
存储组合将如何演变?
左侧图表:今天的存储组合(Today)
- • SSD = 10%:SSD目前占存储容量的10%,用于高性能需求。
- • HDD = 81%:HDD占据了81%的份额,是当前数据中心的主力存储设备。
- • Tape = 9%:磁带占9%,用于冷存储和归档。
右侧图表:2028年的存储组合(2028)
- • SSD = 13%:SSD的占比预计会增长到13%。
- • HDD = 80%:HDD仍将占据主导地位,略微下降至80%。
- • Tape = 7%:磁带的占比预计会减少到7%。
未来存储的关键问题
- 1. 高比特/单元的SSD会取代HDD吗?
- • 耐用性和保持力问题:对于“温数据”层(频繁访问的中等数据),SSD在耐用性和数据保留方面面临挑战。
- • 可持续性问题:SSD的生产过程中涉及的嵌入式碳排放增加了环境负担。
- • 价格和供应问题:市场能否以合理的价格生产足够的SSD来替代HDD?
Note:QLC在数据中心大规模应用为提升耐用性,普遍使用ZNS/FDP技术改善数据IO效率,参考文末拓展阅读。
- 2. 磁带会取代HDD吗?
- • AI/ML要求更多的主动访问:人工智能和机器学习要求更多的数据实时访问,磁带不适合这种高频需求。
- • 媒体存储在数据中心之外:在数据中心之外使用磁带存储数据,需要精密控制的环境,效率较低。
- 3. HDD仍在创新:
- • 面积密度的提升:HDD技术仍在不断提高单位面积内的存储密度。
- • 外形的变化:HDD可能在物理设计上进一步优化。
总结
- 1. HDD仍为数据中心主力:硬盘安装容量和位密度不断提升,尽管固态驱动器(SSD)在部分应用中有所替代,HDD在存储大规模数据上仍具有核心地位。
- 2. SSD优势与挑战:SSD具备高比特率和低能耗优势,但面临耐用性和成本效率问题,主要在需要高性能的特定场景中使用。
- 3. 多种存储技术共存发展:磁带存储具备经济优势,但不适合频繁访问场景。未来数据中心将根据不同需求,灵活使用HDD、SSD与磁带等存储方案,并应对可持续性挑战。