Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >物尽其用还省心,希捷Exos CORVAULT不简单!

物尽其用还省心,希捷Exos CORVAULT不简单!

作者头像
冬瓜哥
发布于 2022-02-24 05:32:36
发布于 2022-02-24 05:32:36
9310
举报
文章被收录于专栏:大话存储大话存储

作为全球数据存储基础设施解决方案的领导者之一的希捷最近推出了突破性的 Exos CORVAULT 自愈块存储系统。这款智能大容量存储产品的一大特点,就是能够简化数据管理、并减少宏观边缘与数据中心环境的人工干预。除了极高的存储密度,Exos CORVAULT 新品还提供了 SAN 级别的性能,结合第六代 VelosCT ASIC、ADAPT 纠删码数据保护、以及自我修复等功能。

双控双电源JBOD?SAN?

这台Corvault系统,实际上是一台介于SAN存储系统和SAS JBOD之间的过渡态存储系统。说到SAN存储,一般是指前端可以通过FC,iSCSI等传统意义上的网络协议向外输出逻辑块设备的存储系统。但是Corvault系统的前端只支持SAS接口,这让它乍一看像是一台JBOD。

但是看到上图中的介绍,发现Corvault支持Erasure Code纠删码对数据做冗余保护,那就可以得出一个结论,这并不是一台JBOD,因为JBOD是直接把后端的物理硬盘暴露给主机端,既然Corvault做了数据冗余保护,就一定暴露的是逻辑硬盘。理论上,暴露逻辑硬盘可以与后端物理硬盘做一比一映射,甚至可以把逻辑硬盘虚拟成与物理硬盘一模一样的规格透明暴露给主机,刨掉用于存放Erasure Code冗余数据块的等容量硬盘数量之后,就相当于一台能够防止单盘甚至多盘故障的JBOD了。但是经过与希捷工程师的确认,Corvault是一台可以灵活划分逻辑卷容量的SAN产品,不过它内部也是可以被设置成JBOD模式的。Corvault支持下面的数据保护方式:nraid|raid0|raid1|raid5|raid6|raid10|ADAPT,其中nraid就是JBOD模式,ADAPT则是Erasure Code模式。

Raid XOR和EC的计算采用了希捷自有IP的ASIC芯片加速运算,整机采用双控冗余架构,并支持带超级电容保护的镜像缓存,镜像通路是基于PCIe直连方式方式实现。Corvault具备了SAN存储的全部关键要素。

整机方面,在4U高度机箱内整合了双控双电源外加106盘位,已经做到了SAN控制器领域的盘控一体形式的最高密度。不得不说,希捷作为老牌硬盘厂商,对机械盘的散热、震动、降噪、供电等方面应该是了如指掌,做到如此高密度也算是希捷独门秘笈了。

集成硬盘原厂私密技术,物尽其用还省心

|自带ADR福利,赚大了!|

大家都可能遇到这种情况:某家庭NAS,Raid卡或者系统自带的软Raid只要检测到某个硬盘有问题,或者不稳定,就把它踢掉,整个磁盘组处于降级模式,然后提醒你更换硬盘。此时,我的下意识做法则是,把“坏盘”拔出来,过一会再插上,你会发现这块硬盘又恢复正常了,而此时Raid系统会把整个数据重构一遍,这个过程对于8TB的一般需要十几个小时,这段期间内,所有硬盘都处于高负荷运转,不仅废盘,而且不安全,因为很有可能接连坏盘。这块盘实际上没有彻底坏,显然只是出现了点卡壳而已。

没有人能比硬盘厂商本身再了解硬盘了。硬盘是整个存储系统最难以管理的部件,如果硬盘能够确保100%的可靠性,那么存储系统的设计将会大大简化。实际上,硬盘本身的架构复杂性,并不亚于整个存储系统。硬盘存在着很多难以预料的软硬件故障,而常规的存储系统根本无法感知到硬盘内部故障的详细情况,所以存储系统一般会用粗粒度的方式来处理,也就是直接把故障硬盘隔离不用,然后启动各类基于Raid或者高级冗余算法来恢复丢失的数据块到其它活动硬盘空间。然而这样做非常不经济,根据硬盘厂商统计,大概有30%左右的硬盘故障,都是可以通过一些自动诊断修复手段来现场修复的。以往的故障硬盘一般都是先返厂,在经过厂商内部诊断程序精细诊断辨别之后,约30%的故障是可以原地修复的。

Corvault系统的Autonomous Drive Regeneration(ADR)自动硬盘驱动器修复技术,相当于在Corvault系统内直接内置了这套诊断系统,可以做到无干预自动原地修复,相当于直接将硬盘故障率降低约30%。这个超级福利,是一般存储系统无法提供的。另外,结合更深度的技术,能够将硬盘进一步物尽其用,比如,硬盘内部的某单个磁头出现问题,或者某单个盘片表面出现问题,这并不表示整个硬盘就不能继续使用了,相反,只要屏蔽这些故障区域,然后将受影响的数据恢复到其它可用空间,这块硬盘的剩余容量依然可以被继续使用,而只有硬盘原厂的系统才能做到如此精打细算了。

|亲自上阵把MACH.2/SMR/HAMR用到极致|

现代硬盘驱动器有很多用来提升容量和性能的新技术,比如提升性能/空间比的双磁臂技术(比如希捷的MACH.2),以及提升盘片容量密度的叠瓦式磁记录技术(SMR)。虽然这两项技术基本上可以做到对上层透明使用,但是如果想用好它们,上层软件还是需要一些适配。

对于SMR技术,该技术就有多种运行模式,比如Device Managed模式就是完全对上层透明,由硬盘固件来负责底层数据布局的安排和优化;而Host Manage则是完全交给Host端上层软件来指挥硬盘固件数据应该如何安放,还有一种模式是Host端向硬盘固件提供对应的建议信息,由硬盘自行负责数据安放。为此T10 SCSI标准组织还专门颁布了一套专门用于Host端与SMR硬盘交互信息的SCSI协议子集:Zone block command。然而这套协议也只是提供了一种语言而已,具体怎么做才能提升SMR硬盘的性能,则需要长期的经验积累。如此复杂的模型,一般存储系统开发者需要经过长时间摸索,尤其是对SMR盘行为、性能模型的摸索。

对于最新的双磁臂技术,目前的实现方案是硬盘会向上层暴露2个逻辑硬盘,这会给上层的管理和性能模型带来挑战。运维上,同一个硬盘槽位出现2个盘,而且这2个盘是在同一个故障域内,同时故障的概率很高,上层的数据冗余机制就需要考虑不要使用这两块盘做相互冗余。性能上,需要考虑这两块盘会争抢同一个SAS/SATA端口产生竞争,需要精细调测。

针对这些新技术,上图中涉及到的第三方二次开发,就都不需要了。因为Corvault系统把上述工作打包到了一起,自己开发的技术亲自把它们用起来还是最顺畅的,这样无论是在系统架构上、性能优化上,还是在后期的运维和问题处理流程上,都是最优的,可以让用户以最小的成本获得对新技术的最佳体验。

此外,Corvault还内置了Seagate Secure技术。采用自加密 (SED) 技术,可实现出色的安全性,而不需要控制器级别的额外开销。利用SFTP可实现安全文件传输,而且可选FIPS 140-3 协议。

|ADAPT,坏了秒修,免维护|

如今的硬盘动辄10+ TB容量,传统Raid的设计理念已经无力应对这种挑战了。传统Raid的理念基于早期硬盘而设计,早期硬盘故障率和可靠性都不太行,再加上容量较小,所以坏了直接踢盘重构,也不是大问题。但是现代硬盘已经变得非常灵活,有些内部故障,硬盘自己就可以透明屏蔽。有些只要上层可以配合,甚至可以区域屏蔽。传统Raid的整盘重构模式,会逐渐退出历史舞台。取而代之的则是Raid2.0理念,不再以粗粒度的单盘作为管理对象,而是以数据块作为管理和重构的对象。Erasure Code就是目前主流的实现方式。

希捷Corvault系统内置了ADAPT (Autonomic Distributed Allocation Protection Technology)技术,实际上是利用EC实现的Raid2.0技术。只要预先设定好对应的冗余空间比例,可以实现接连坏盘而免维护的效果,比如,5年免维护,这个的确非常省心。ADAPT的数据块级细粒度管理方式,让其得以支持不同容量的盘混用,从而极大降低了部署成本。

利用ADAPT,可以极大地降低系统重构时间。在实际测试中,传统8+2的Raid6模式重构需要约55小时,而相同的重构量,24盘组成的ADAPT只需要24小时。因为ADAPT是利用分布式重构方式,所有硬盘都会承接被恢复之后的数据写入,而传统Raid则将重构出来的数据写到单一的一块盘上,整体重构速度就受限于单盘的吞吐量。

总结和展望

Corvault给人的印象是一款紧凑型务实型产品,它更像一台能够把硬盘容量、性能和可靠性发挥到极致的大Raid阵列。当前,它没有更多的高级数据管理功能比如快照,容灾;也不支持除了SAS之外的其它前端访问协议。不过据悉Corvault将来会支持更多前端访问协议以及功能。

它的市场定位我感觉是想替代一些传统Raid卡的场景,比如8台服务器,各安装一块SAS HBA,现在完全可以采用SAS线缆连接到Corvault获取逻辑资源的方式来实现。Corvault能够提供更大的存储容量、更高的性能和可靠性、以及更好的用户管理运维体验。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-02-09,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大话存储 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
盘点分布式文件存储系统____分布式文件存储系统简介
**分布式存储:**通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在企业的各个角落。
全栈程序员站长
2022/06/28
6.4K0
盘点分布式文件存储系统____分布式文件存储系统简介
五年五次飙榜,浪潮如此自我挑战为哪般?
要我说,中国本土的存储厂商当下最强悍的主力军,应该是Inspur了。这不,浪潮这次又登顶SPC-1了。
冬瓜哥
2021/07/22
4730
中国仅有两家入选,Gartner2021《分布式文件系统和对象存储魔力象限图》究竟有什么看点?
我们看到,戴尔和IBM作为老牌存储厂商,依然没有一点意外地牢牢盘踞在魔力象限图的最右上角。
科技云报道
2022/04/16
1.4K0
中国仅有两家入选,Gartner2021《分布式文件系统和对象存储魔力象限图》究竟有什么看点?
中移动分布式存储超级大单出炉,浪潮等唱主角
近日,中国移动公布了2019年至2020年分布式块存储产品集中采购招标公告。自2017年以来,中国移动已经组织了两次分布式文件存储集采,本次集采是电信运营商行业的首次分布式块存储大规模集采,吸引了众多包括浪潮、华为等在内的十多家厂商参与投标。最终,浪潮在为期5个月的测试中率先完成测试,并且凭借过硬的产品实力,勇夺综合成绩第一。
大数据在线
2019/11/11
6090
中移动分布式存储超级大单出炉,浪潮等唱主角
Gartner:浪潮存储进入分布式存储前三
近日,权威调研机构Gartner公布2021二季度全球存储市场报告。报告显示,全球存储市场开始回暖,市场规模同比增长3.5%,其中以分布式存储为代表的第二存储市场增速最高,同比增长5.5%。全球第二存储市场,浪潮分布式存储增长强劲,市场份额保持全球前三。
大数据在线
2021/10/27
6910
难言之隐,分布式存储软硬件解耦究竟难在哪里?
说到分布式存储,我们可能都会联想到软件定义存储(Software Defined Storage,即SDS)。代表全球存储厂商的权威协会SNIA(全球网络存储工业协会)对SDS定义:软件定义存储包括管理面的标准接口和自动化,以及数据面Scale-out的块、文件和对象存储服务。 业界很多分析师和厂商都认为“SDS”应该和硬件解耦,可以部署在容器、虚拟机、标准裸金属服务器上。 但在上述SNIA发布的SDS白皮书中,SNIA并不认同这种观点,而是更关心SDS实现管理面的自动化和数据面的弹性。 分布式存储“软
云头条
2022/03/18
6660
百亿产业规模之后,中国分布式存储市场有哪些重要趋势?
过去十年里,数字经济的蓬勃发展,不仅带来了数据爆炸性增长,也让数据的重要性日渐突显。
大数据在线
2022/12/13
4220
百亿产业规模之后,中国分布式存储市场有哪些重要趋势?
分布式存储会一统存储市场吗 ?
近年来,随着云、大数据、AI、区块链等技术的发展,分布式架构在IT市场持续火热,在存储领域,分布式存储蓬勃发展。 其中在AI应用最火热的汽车自动驾驶研发领域,每个车企都需要对数百PB数据进行采集、存储、分析训练、仿真。 根据预测,到2025年全球数据将增长到175ZB,其中非结构化数据占比将超过80%,分布式存储凭借高扩展性和易管理能力,成为承载海量数据的重要选择。同时,在政府、运营商、金融等大规模云化数据中心,各大云厂商、分布式存储厂商都在积极推动分布式存储更广泛地应用,替代部分传统存储阵列。 种种迹象
云头条
2022/03/18
6260
块存储、文件存储、对象存储这三者和分布式文件存储系统的本质区别[通俗易懂]
https://blog.csdn.net/enweitech/article/details/51445087
全栈程序员站长
2022/09/01
10.6K0
开源分布式文件系统大检阅
我们的YRCloudFile是一款面向云时代的分布式文件系统,它的主要特点是支持海量小文件的高性能数据访问,对Kubernetes平台的无缝支持,混合云场景下的数据支撑。我们在开发YRCloudFile时,也会去了解业界主流的分布式文件系统,学习其优点,避免其缺点。本文讨论几个我们曾调查过的主流的分布式文件系统,它们都是开源系统,因为这样能收集到丰富的资料,能看到代码,使得了解及讨论更为清晰。
焱融科技
2020/04/02
1.8K0
开源分布式文件系统大检阅
CubeFS 进入 CNCF 孵化阶段,国产分布式存储的新里程碑!| Q推荐
CubeFS 是国内首个云原生开源分布式存储产品,2019 年开源并捐赠托管至云原生计算基金会 (CNCF),2020 年 10 月 OPPO 开始主导 CubeFS 社区运营与版本迭代,累计发布 7 个 release 版本。在 OPPO 的全力推进下,CubeFS 于 2022 年 6 月进入 CNCF 孵化阶段。 本文,我们与 CubeFS Maintainer OPPO 的何小春进行了对话,共同探讨 CubeFS 的技术演进及云原生存储技术的发展方向。 1 云原生存储技术“越来越分布式” 随着云
深度学习与Python
2023/03/29
1.1K0
CubeFS 进入 CNCF 孵化阶段,国产分布式存储的新里程碑!| Q推荐
挑战存储“不可能之三角”:用自研技术引领存储性能突破
然而,随着非结构化数据在生产业务中的广泛应用,各行各业正在经历数据量的爆炸式增长。虽然分布式存储在大众认知内具有高性价比和高扩展性,却未被赋予高性能的标签。
科技云报道
2024/01/10
3080
挑战存储“不可能之三角”:用自研技术引领存储性能突破
QingStor分布式存储,或成为青云科技上市后的新增长引擎
继青云科技(QingCloud)上市以来,旗下分布式存储品牌QingStor近日也官宣了新的品牌征程:
科技云报道
2022/04/16
4210
QingStor分布式存储,或成为青云科技上市后的新增长引擎
【重识云原生】第三章云存储第一节——分布式云存储总述
在了解什么是分布式存储之前,我们先来简单了解一下存储几十年来的大概历程。
江中散人_Jun
2022/04/11
2.4K0
【重识云原生】第三章云存储第一节——分布式云存储总述
Ceph分布式存储初步认识(一)
Ceph 是一个去中心化的分布式存储系统, 提供较好的性能、可靠性和可扩展性。 Ceph 项目最早起源于Sage就读博士期间的工作(最早的成果于 2004 年发表),并随后贡献给开源社区, 遵循 LGPL 协议 (LESSER GENERAL PUBLIC LICENSE 的简写,中文译为 “ 较宽松公共许可证 ” )。在经过了数年的发展之后,目前已得到众多云计算厂商(OpenStack 、 CloudStack 、 OpenNebula 、 Hadoop )的支持并被广泛应用。
Lansonli
2022/04/11
1.3K1
Ceph分布式存储初步认识(一)
GlusterFS分布式存储学习总结
分布式文件系统 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源并不直接与本地节点相连,而是分布于计算网络中的一个或者多个节点的计算机上。目前意义上的分布式文件系统大多都是由多个节点计算机构成,结构上是典型的客户机/服务器模式。流行的模式是当客户机需要存储数据时,服务器指引其将数据分散的存储到多个存储节点上,以提供更快的速度,更大的容量及更好的冗余特性。 目前流行的分布式文件系统有许多,如MooseFS、FastDFS、GlusterFS、Ceph、Mogile
洗尽了浮华
2018/04/17
2.9K0
GlusterFS分布式存储学习总结
YH10:分布式存储解决方案zData
云和大数据时代的到来导致各行各业数据量的爆发,面对业务数据的日益剧增,企业的IT系统在性能、稳定性和扩展性等方面都面临前所未有的巨大挑战。如何有效应对云和大数据的浪潮去拥抱变化,成为企业迫切面临的问题。 数据驱动的时代,一切竞争的核心都会归结于IT系统的竞争,然而传统数据库系统架构面临以下困境: 1、中心化的存储系统成为I/O存取的瓶颈,扩展成本高昂 2、小型机+高端存储,成本高昂,相对比较封闭,扩展能力差。 3、复杂的系统带来部署及操作、运维和管理的复杂性 分布式存储解决方案zData 为更好地保障企业
数据和云
2018/03/07
1.7K0
YH10:分布式存储解决方案zData
分布式文件存储选型比较[通俗易懂]
在这个数据爆炸的时代,产生的数据量不断地在攀升,从GB,TB,PB,ZB.挖掘其中数据的价值也是企业在不断地追求的终极目标。但是要想对海量的数据进行挖掘,首先要考虑的就是海量数据的存储问题,比如Tb量级的数据。
全栈程序员站长
2022/06/28
7500
分布式文件存储选型比较[通俗易懂]
大数据开发:分布式文件存储系统简介
在分布存储式存储技术体系当中,分布式文件存储是其中的分类之一,也是大数据架构当中常常用到的。得益于Hadoop的高人气,Hadoop原生的HDFS分布式文件系统,也广泛为人所知。但是分布式文件存储系统,并非只有HDFS。今天的大数据开发分享,我们就主要来讲讲常见的分布式文件存储系统。
成都加米谷大数据
2021/01/13
1.5K0
大数据开发:分布式文件存储系统简介
刘军:18年“老兵”眼中的HPC与大数据、深度学习的融合
关注高性能计算(HPC)的朋友们不会忘记今年7月第45期全球超级计算机TOP500排名,中国国防科学技术大学研制,部署于中国广州超算中心的天河二号再次荣登榜首,连续第5次成为TOP500冠军。这还是在
CSDN技术头条
2018/02/09
1.2K0
刘军:18年“老兵”眼中的HPC与大数据、深度学习的融合
推荐阅读
相关推荐
盘点分布式文件存储系统____分布式文件存储系统简介
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档