前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >纵横布局,传统硬盘厂商的突围

纵横布局,传统硬盘厂商的突围

作者头像
冬瓜哥
发布2020-12-18 15:46:40
9640
发布2020-12-18 15:46:40
举报
文章被收录于专栏:大话存储大话存储

l 机械硬盘是后方之本

l SMR和ZNS夯实根基

l 3个新领域发力纵深分层存储

l 前方NVMe-oF横向扩充

1

机械硬盘是后方之本

硬盘是构成存储系统的最关键部件,对于机械硬盘而言,看似并不太复杂的机械部分,其实细究起来,到处都是无法逾越的技术门槛,一般人还真做不了。回想20几年前,机械硬盘领域有众多品牌,比如西部数据、东芝、迈拓、IBM、希捷、三星等。彼时长城硬盘也开始尝试自主研发,但是发现这个东西坑太多,很多关键技术搞不定,且一些关键器件必须从日本进口,最终还是放弃了。如下图所示,磁头和磁头臂又是机械硬盘里最关键的部分,其复杂和精细度极高。

上图取自《大话计算机》图11-67

机械硬盘的容量从最早的几GB如今已经发展到单盘即将达到20TB,这其中除了有底层基础学科发展带来的增益之外,硬盘厂商持续设计开发的各种改进技术也非常关键,比如垂直记录(PMR)、瓦片式磁记录(SMR)、能量辅助磁记录(EAMR)以及将来的点阵式磁记录(BPMR),另外还有双磁头臂技术(Dual Actuator)等等。

目前看来,机械硬盘的容量并没有发展到天花板,曾几何时人们对机械硬盘的发展一度持悲观态度,但是底层研究者们似乎总是能在关键时刻攻克难关,把发展惯性维持在一定水平。包括摩尔定律也是如此。在一份由知名存储解决方案厂商西部数据(Western Digital)公司发布的市场报告中显示,企业级机械硬盘依然呈现强劲的增长势头。虽然固态存储增速较快,但是机械硬盘依然是目前企业级存储市场的主力军。

目前西部数据公司的传统磁记录机械硬盘已经可以达到最高18TB的单盘容量,其使用了EAMR/ePMR来使得更精细的磁畴记录成为可能,另外也采用了TDMR双读头技术来加持。西部数据采用SMR磁记录的机械盘目前最高容量可达20TB。

对于传统硬盘厂商而言,机械硬盘的市场绝对占有量依然庞大。前几年有些观点认为,机械盘终将会被固态存储替代,的确,这是个不可否认的趋势,但是冬瓜哥认为,10年内机械硬盘也不会退出市场,因为目前NAND Flash的特性决定了它并不适合全部的存储场景,即便将来推出更加廉价的NAND,也无法逾越NAND Cell缓慢漏电这个壁垒。技术上讲,对于长期保存大容量数据,机械硬盘在今后的很长一段时间内依然是首选。

另外,冷数据,温数据的存量只会越来越大,分层存储已经是企业和大型数据中心存储系统中的常规性操作了。所以,机械硬盘虽然逐渐淡出大型数据中心高压力的前端业务,但是在后端,机械硬盘的地位似乎更加稳固了。

机械硬盘这个阵地只能是继续夯实,尤其是如何进一步提升容量和吞吐量,因此SMR,ZNS, Dual Actuator等技术近年来发展较快。

2

SMR和ZNS夯实根基

SMR技术能大幅提升存储密度,问题是不适合随机写入,而且其特殊的数据管理方式,需要上位部件比如HBA/Raid卡,以及软件层上的配合,所以SMR硬盘在前期的推广上遇到了一些阻力,拖的时间也较长。但是毕竟这个技术是专门为冷存储,或者说为了降低成本而设计的,而冷存储的容量压力只会越来越大。经过了前期预热和适配,SMR硬盘目前已经迎来了上量增长期。

目前,大型互联网数据中心用户Dropbox就已经批量部署了西部数据最新的20TB SMR HDD,增加了大概10%-20%的存储密度,总体成本降低了20%。另一家美国知名企业级在线云存储公司Datto以及国内的UCloud也都批量使用了SMR硬盘。

西部数据公司在降低SMR硬盘的生态阻力方面做了大量工作。早在去年,西部数据就发布了ZNS(Zoned Namespaces)技术/指令集,并获得了NVM Express标准的认可和融入。SSD的读写特性与SMR HDD非常类似,ZNS技术能够让SSD获得更好的性能和寿命。而ZNS和SMR在软件栈方面其实是可以统一融合的,即实现SMR HDD和ZNS SSD同一架构下的统一数据管理。为此,西部数据发布了libZBC、libZNS共享库,以及开发工具,支持文件系统和内核模块设计,从软件栈的角度,为SMR HDD应用扫除障碍,并同时兼顾SSD的需要。为了推动分区存储技术使用,西部数据采取了开源策略,让开发者、生态合作伙伴可以通过ZonedStorage.io 访问来获取这些开源的信息。

就在近期,西部数据发布了全球第一款支持ZNS的NVMe企业级固态硬盘UltrastarDC ZN540,其配备双NVMe端口,可用于双控存储系统,标准U.2尺寸封装最大容量达8TB,并具有更高的效率,利用率和可扩展性,同时降低了公共和私有云基础架构的总拥有成本。

3

3个新领域发力纵深分层存储

业界的这些老牌的机械硬盘厂商,多年前就已经嗅到了风向。NAND对磁介质的挑战,长远来看是会动摇企业生存根基的。比如固态硬盘从一开始的沿袭机械盘的SATA/SAS接口,一直到后来直接采用PCIe接口以及随后的U.2/M.2连接器,同时连指令集也脱离了SCSI,自成一派NVMe。一直到最近的更多的连接器出现,比如Ruler,EDSFF/E1.L/E1.S/E3/E1.S等。

固态硬盘无非就是两大块,NAND介质和主控,这里面更重要的还是NAND介质,主控的开发相对门槛较低。目前的NAND介质的几大巨头包括Intel,三星,闪迪/东芝/铠侠,镁光,海力士等,国内则有长江存储/Longsys。这块市场竞争很激烈,风云变幻。比如西部数据在2015年花大价钱收购了闪迪,获取了主控+NAND的核心产品线。2年后西部数据又吃下了东芝的NAND业务,获取了高品质企业级NAND核心能力,从而与NAND大厂厮杀。

不负众望,在经过了整合优化之后,西部数据公司成功开发第五代3D NAND技术——BiCS5,BiCS5采用了广泛的新技术和创新的制造工艺,是西部数据迄今为止最高密度、最先进的3D NAND。第二代多层存储孔技术、改进的制造工艺流程以及其他3D NAND单元的增强功能,显著提高了整个晶圆水平面单元的阵列密度。这些“横向扩展”技术与112层垂直存储能力相结合,使BiCS5相比于西部数据上一代的96层BiCS4技术,其每片晶圆的存储容量提高了40%*以上,同时优化了成本。新的设计改进还提高了性能,使得BiCS5的I/O性能比BiCS4提升了50%。

在主控方面,西部数据的UltrastarDC SN840固态硬盘凭借其强大的只有0.11%的I/O低抖动特性,获取了ODCC综合性能奖殊荣。

除了NAND和主控之外,老牌硬盘厂商们似乎还参透了一个道理,那就是适当地往系统级厂商路线上走一走,因为产品和生态太过单一会很容易被突变的浪潮所淹没。在整个生态链中,位于硬盘之上的,就是服务器或者JBOD扩展柜。近几年来,一些老牌的JBOD设计商比如Dothill,Xyratex相继被收购,而且都是被硬盘厂商收购的,就能看出端倪。

西部数据公司副总裁兼中国区业务总经理刘钢先生表示:“西部数据是少有的能够提供全线存储产品和解决方案的公司。我们拥有完整的适用于各种存储场景的解决方案,提供从芯片到系统,各种场景的存储解决方案。从NAND颗粒、到硬盘、个人PC里面的固态硬盘,一直到云数据中心里面高容量的企业级硬盘、企业级固态硬盘,以及高密度、高性能的JBOD&JBOF、NVMe-oF新型系统。今年是西部数据公司成立50年,我们非常了解存储,半个世纪以来都在引领存储技术的创新。”

西部数据公司副总裁兼中国区业务总经理—刘钢

目前,西部数据公司的产品和技术已经覆盖了从磁介质、磁盘、企业级/消费级NAND介质、企业级/消费级SSD、存储服务器、JBOD以及NVMe-oF解决方案,步入了系统级厂商的行列。占据更多的存储分层,就能够在生态链里有更稳固的发展。

4

前方NVMe-oF和OCCL横向扩充

可以说,固态存储的出现,让系统级解决方案的设计研发门槛得以降低。之前只有专业外置存储厂商做的事,很多初创公司甚至生态链上下游厂商也都可以染指。相比传统的基于FC前端访问协议为主流的SAN存储而言,基于固态存储的集中存储,则更倾向于标新立异。比如直接采用NVMe Over TCP协议,针对这方面的需求,几个大厂推出了自己智能网卡(SmartNIC)来卸载NVMe Over TCP协议,相当于NVMe-oF HBA,不少初创公司也推出了SmartNIC甚至全套系统。

这方面,西部数据基于自身的Ultrastar DC SN840 NVMe SSDs全闪存系统,加上RapidFlex智能网卡,组成了全套的OpenFlex Data24 NVMe-oF全闪存系统。可以实现13.2M IOPS和70.7GB/s的带宽,平均每块SSD接近55万IOPS和3GB/s带宽,这个几乎把6个100GbE网口跑满了,每块网卡平均220万IOPS。

OpenFlex让西数获得了完整的存储系统级能力和定位,这就像是一个锚点,基于OpenFlex和分层存储,西数可以讲机械存储和固态存储进行有机的整合,打“组合拳”,而不是仅仅作为内嵌在分层存储中的孤立角色而存在。

另外,西部数据还与业界厂商一起推行OCCL(OPEN COMPOSABLE COMPATIBILITY LAB),OCCL实际上是对近几年业界广为推崇的解耦合式架构的一个响应。在解耦合架构中,内存和I/O与CPU逐渐剥离,自成体系,这样可以增加内存和I/O的扩展性,可以应对不断增长的系统规模,属于系统架构的横向扩充,的确是占领生态位的一个大好时机了。

总结

对于西部数据这种老牌的存储解决方案厂商,先后通过两次大的收购成功实现双轨并行,然后持续发力新标准新协议的生态建设和控制,在分层存储体系中纵深占领生态位置,同时在上层系统架构中积极推行NVMe oF以及OCCL解耦架构,实现横向占领生态位置,这些举措对于其今后在存储行业中的地位和持续发展,影响都是深远的。

扫码入当当直购《大话计算机》

博主简介:冬瓜哥,《大话计算机》与《大话存储 终极版》、《大话存储 后传》图书作者。多项专利发明人。

现任某半导体公司高级资深架构师。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-12-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大话存储 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档