Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >物尽其用还省心,希捷Exos CORVAULT不简单!

物尽其用还省心,希捷Exos CORVAULT不简单!

作者头像
冬瓜哥
发布于 2022-02-24 05:32:36
发布于 2022-02-24 05:32:36
9310
举报
文章被收录于专栏:大话存储大话存储

作为全球数据存储基础设施解决方案的领导者之一的希捷最近推出了突破性的 Exos CORVAULT 自愈块存储系统。这款智能大容量存储产品的一大特点,就是能够简化数据管理、并减少宏观边缘与数据中心环境的人工干预。除了极高的存储密度,Exos CORVAULT 新品还提供了 SAN 级别的性能,结合第六代 VelosCT ASIC、ADAPT 纠删码数据保护、以及自我修复等功能。

双控双电源JBOD?SAN?

这台Corvault系统,实际上是一台介于SAN存储系统和SAS JBOD之间的过渡态存储系统。说到SAN存储,一般是指前端可以通过FC,iSCSI等传统意义上的网络协议向外输出逻辑块设备的存储系统。但是Corvault系统的前端只支持SAS接口,这让它乍一看像是一台JBOD。

但是看到上图中的介绍,发现Corvault支持Erasure Code纠删码对数据做冗余保护,那就可以得出一个结论,这并不是一台JBOD,因为JBOD是直接把后端的物理硬盘暴露给主机端,既然Corvault做了数据冗余保护,就一定暴露的是逻辑硬盘。理论上,暴露逻辑硬盘可以与后端物理硬盘做一比一映射,甚至可以把逻辑硬盘虚拟成与物理硬盘一模一样的规格透明暴露给主机,刨掉用于存放Erasure Code冗余数据块的等容量硬盘数量之后,就相当于一台能够防止单盘甚至多盘故障的JBOD了。但是经过与希捷工程师的确认,Corvault是一台可以灵活划分逻辑卷容量的SAN产品,不过它内部也是可以被设置成JBOD模式的。Corvault支持下面的数据保护方式:nraid|raid0|raid1|raid5|raid6|raid10|ADAPT,其中nraid就是JBOD模式,ADAPT则是Erasure Code模式。

Raid XOR和EC的计算采用了希捷自有IP的ASIC芯片加速运算,整机采用双控冗余架构,并支持带超级电容保护的镜像缓存,镜像通路是基于PCIe直连方式方式实现。Corvault具备了SAN存储的全部关键要素。

整机方面,在4U高度机箱内整合了双控双电源外加106盘位,已经做到了SAN控制器领域的盘控一体形式的最高密度。不得不说,希捷作为老牌硬盘厂商,对机械盘的散热、震动、降噪、供电等方面应该是了如指掌,做到如此高密度也算是希捷独门秘笈了。

集成硬盘原厂私密技术,物尽其用还省心

|自带ADR福利,赚大了!|

大家都可能遇到这种情况:某家庭NAS,Raid卡或者系统自带的软Raid只要检测到某个硬盘有问题,或者不稳定,就把它踢掉,整个磁盘组处于降级模式,然后提醒你更换硬盘。此时,我的下意识做法则是,把“坏盘”拔出来,过一会再插上,你会发现这块硬盘又恢复正常了,而此时Raid系统会把整个数据重构一遍,这个过程对于8TB的一般需要十几个小时,这段期间内,所有硬盘都处于高负荷运转,不仅废盘,而且不安全,因为很有可能接连坏盘。这块盘实际上没有彻底坏,显然只是出现了点卡壳而已。

没有人能比硬盘厂商本身再了解硬盘了。硬盘是整个存储系统最难以管理的部件,如果硬盘能够确保100%的可靠性,那么存储系统的设计将会大大简化。实际上,硬盘本身的架构复杂性,并不亚于整个存储系统。硬盘存在着很多难以预料的软硬件故障,而常规的存储系统根本无法感知到硬盘内部故障的详细情况,所以存储系统一般会用粗粒度的方式来处理,也就是直接把故障硬盘隔离不用,然后启动各类基于Raid或者高级冗余算法来恢复丢失的数据块到其它活动硬盘空间。然而这样做非常不经济,根据硬盘厂商统计,大概有30%左右的硬盘故障,都是可以通过一些自动诊断修复手段来现场修复的。以往的故障硬盘一般都是先返厂,在经过厂商内部诊断程序精细诊断辨别之后,约30%的故障是可以原地修复的。

Corvault系统的Autonomous Drive Regeneration(ADR)自动硬盘驱动器修复技术,相当于在Corvault系统内直接内置了这套诊断系统,可以做到无干预自动原地修复,相当于直接将硬盘故障率降低约30%。这个超级福利,是一般存储系统无法提供的。另外,结合更深度的技术,能够将硬盘进一步物尽其用,比如,硬盘内部的某单个磁头出现问题,或者某单个盘片表面出现问题,这并不表示整个硬盘就不能继续使用了,相反,只要屏蔽这些故障区域,然后将受影响的数据恢复到其它可用空间,这块硬盘的剩余容量依然可以被继续使用,而只有硬盘原厂的系统才能做到如此精打细算了。

|亲自上阵把MACH.2/SMR/HAMR用到极致|

现代硬盘驱动器有很多用来提升容量和性能的新技术,比如提升性能/空间比的双磁臂技术(比如希捷的MACH.2),以及提升盘片容量密度的叠瓦式磁记录技术(SMR)。虽然这两项技术基本上可以做到对上层透明使用,但是如果想用好它们,上层软件还是需要一些适配。

对于SMR技术,该技术就有多种运行模式,比如Device Managed模式就是完全对上层透明,由硬盘固件来负责底层数据布局的安排和优化;而Host Manage则是完全交给Host端上层软件来指挥硬盘固件数据应该如何安放,还有一种模式是Host端向硬盘固件提供对应的建议信息,由硬盘自行负责数据安放。为此T10 SCSI标准组织还专门颁布了一套专门用于Host端与SMR硬盘交互信息的SCSI协议子集:Zone block command。然而这套协议也只是提供了一种语言而已,具体怎么做才能提升SMR硬盘的性能,则需要长期的经验积累。如此复杂的模型,一般存储系统开发者需要经过长时间摸索,尤其是对SMR盘行为、性能模型的摸索。

对于最新的双磁臂技术,目前的实现方案是硬盘会向上层暴露2个逻辑硬盘,这会给上层的管理和性能模型带来挑战。运维上,同一个硬盘槽位出现2个盘,而且这2个盘是在同一个故障域内,同时故障的概率很高,上层的数据冗余机制就需要考虑不要使用这两块盘做相互冗余。性能上,需要考虑这两块盘会争抢同一个SAS/SATA端口产生竞争,需要精细调测。

针对这些新技术,上图中涉及到的第三方二次开发,就都不需要了。因为Corvault系统把上述工作打包到了一起,自己开发的技术亲自把它们用起来还是最顺畅的,这样无论是在系统架构上、性能优化上,还是在后期的运维和问题处理流程上,都是最优的,可以让用户以最小的成本获得对新技术的最佳体验。

此外,Corvault还内置了Seagate Secure技术。采用自加密 (SED) 技术,可实现出色的安全性,而不需要控制器级别的额外开销。利用SFTP可实现安全文件传输,而且可选FIPS 140-3 协议。

|ADAPT,坏了秒修,免维护|

如今的硬盘动辄10+ TB容量,传统Raid的设计理念已经无力应对这种挑战了。传统Raid的理念基于早期硬盘而设计,早期硬盘故障率和可靠性都不太行,再加上容量较小,所以坏了直接踢盘重构,也不是大问题。但是现代硬盘已经变得非常灵活,有些内部故障,硬盘自己就可以透明屏蔽。有些只要上层可以配合,甚至可以区域屏蔽。传统Raid的整盘重构模式,会逐渐退出历史舞台。取而代之的则是Raid2.0理念,不再以粗粒度的单盘作为管理对象,而是以数据块作为管理和重构的对象。Erasure Code就是目前主流的实现方式。

希捷Corvault系统内置了ADAPT (Autonomic Distributed Allocation Protection Technology)技术,实际上是利用EC实现的Raid2.0技术。只要预先设定好对应的冗余空间比例,可以实现接连坏盘而免维护的效果,比如,5年免维护,这个的确非常省心。ADAPT的数据块级细粒度管理方式,让其得以支持不同容量的盘混用,从而极大降低了部署成本。

利用ADAPT,可以极大地降低系统重构时间。在实际测试中,传统8+2的Raid6模式重构需要约55小时,而相同的重构量,24盘组成的ADAPT只需要24小时。因为ADAPT是利用分布式重构方式,所有硬盘都会承接被恢复之后的数据写入,而传统Raid则将重构出来的数据写到单一的一块盘上,整体重构速度就受限于单盘的吞吐量。

总结和展望

Corvault给人的印象是一款紧凑型务实型产品,它更像一台能够把硬盘容量、性能和可靠性发挥到极致的大Raid阵列。当前,它没有更多的高级数据管理功能比如快照,容灾;也不支持除了SAS之外的其它前端访问协议。不过据悉Corvault将来会支持更多前端访问协议以及功能。

它的市场定位我感觉是想替代一些传统Raid卡的场景,比如8台服务器,各安装一块SAS HBA,现在完全可以采用SAS线缆连接到Corvault获取逻辑资源的方式来实现。Corvault能够提供更大的存储容量、更高的性能和可靠性、以及更好的用户管理运维体验。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-02-09,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大话存储 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
RAID2.0对比RAID1.0的优势是什么,分十个维度对比!解析RAID2.0演进的意义!
‌RAID 1.0‌是传统RAID技术的标准化实现方式,其核心是通过物理磁盘直接构建RAID组,以磁盘或分区为最小管理单元,依赖固定冗余策略保障数据可靠性。以下是其技术实现细节:
ICT系统集成阿祥
2025/04/22
700
RAID2.0对比RAID1.0的优势是什么,分十个维度对比!解析RAID2.0演进的意义!
vSAN 与 SmartX, 两种不同的解决方案
vSphere虚拟化解决方案是很现在业界使用很广的一套虚拟化方案,但是在现在业务的发展过程中,传统vSphere使用的集中式SAN存储也出现了一些问题,这些问题是后续vSAN和SmartX出现的原因之一。这些问题包括以下几点:
ICT系统集成阿祥
2024/12/03
1710
vSAN 与 SmartX, 两种不同的解决方案
Seagate:HAMR与MACH-2,HDD存储的革新之路
在数据爆炸的时代,存储技术的革新成为推动数字化进程的核心动力。Seagate作为全球存储领域的领军者,正通过突破性技术重新定义HDD的未来。本文聚焦其三大核心技术:HAMR热辅助磁记录(突破存储密度极限)、MACH-2双执行器架构(提升性能与能效),以及Reman Build自愈机制(优化数据恢复效率)。这些创新不仅将单碟容量推向新高度,更通过智能资源虚拟化与数据迁移策略,显著降低数据中心的总拥有成本(TCO)。在AI与云计算需求激增的背景下,Seagate的解决方案为大规模存储提供了兼具高性能、低能耗与高可靠性的路径,重新定义了HDD在混合存储架构中的核心地位。
数据存储前沿技术
2025/03/13
1570
Seagate:HAMR与MACH-2,HDD存储的革新之路
RAID2.0原理和性能详解,图文并茂,建议收藏(RAID进阶)
1)将硬盘划分成若干个连续的固定大小的存储空间,称为存储块,即chunk,或简称CK。
ICT系统集成阿祥
2024/12/03
5900
RAID2.0原理和性能详解,图文并茂,建议收藏(RAID进阶)
图文并茂 RAID 技术全解 – RAID0、RAID1、RAID5、RAID100……
  RAID 技术相信大家都有接触过,尤其是服务器运维人员,RAID 概念很多,有时候会概念混淆。这篇文章为网络转载,写得相当不错,它对 RAID 技术的概念特征、基本原理、关键技术、各种等级和发展现状进行了全面的阐述,并为用户如何进行应用选择提供了基本原则,对于初学者应该有很大的帮助。
菲宇
2019/06/13
6.3K0
图文并茂 RAID 技术全解 – RAID0、RAID1、RAID5、RAID100……
DELL服务器数据恢复成功案例
DELL EqualLogic PS6100采用虚拟ISCSI SAN阵列,为远程或分支办公室、部门和中小企业存储部署带来企业级功能、智能化、自动化和可靠性。以简化的管理、快速的部署及合理的价格满足了分支办公室和中小企业的存储需求,同时提供全套企业级数据保护和管理功能、可靠的性能、可扩展性和容错功能,是中型企业级存储的起点产品,但某些物理故障或其他操作都可能会对卷或存储造成破坏,因此对系列存储的数据恢复技术才有了用武之地。而发生这些故障之后只能找专业的数据恢复公司做数据挽救工作。北亚数据恢复中心宋工最近处理过一起DELL EqualLogic PS 6100因磁盘故障导致存储不可用的案例:
全栈程序员站长
2022/09/07
1.5K0
DELL服务器数据恢复成功案例
存储系统的那些事
存储系统从其与生俱来的使命来说,就难以摆脱复杂系统的魔咒。无论是从单机时代的文件系统,还是后来C/S或B/S结构下数据库这样的存储中间件兴起,还是如今炙手可热的云存储服务来说,存储都很复杂,而且是越来越复杂。   存储为什么会复杂,要从什么是存储谈起。存储这个词非常平凡,存储 + 计算(操作)就构成了一个朴素的计算机模型。简单来说,存储就是负责维持计算系统的状态的单元。从维持状态的角度,我们会有最朴素的可靠性要求。比如单机时代的文件系统,机器断电、程序故障、系统重启等常规的异常,文件系统必须可以正确
小小科
2018/05/02
1.5K0
存储09-glusterfs&ceph&minio
glusterfs、ceph、minio在开源界,属于比较流行应用较广的三个分布式存储系统。现在重点介绍下,这三个分布式系统的架构以及和raid的类比,让大家把存储明明白白的搞透彻。
大话IT架构
2020/03/31
7.6K0
存储09-glusterfs&ceph&minio
虹科方案|在虚拟化环境中使用ATTO XstreamCORE®智能网桥的安全、简单SAN解决方案
在具有外部串行连接存储 (SAS) 阵列的典型直连环境中,使用 vMotion® 完成从一台 ESXi 主机到另一台主机的数据传输可能需要数小时,即使遵循了隔离 vMotion 网络的正确建议也是如此。除了常见的负载均衡迁移,vMotion 迁移虚拟机 (VM) 最关键的时间通常是主机资源关闭或处于胁迫状态时。在这些情况下,据观察,运行大约 250-400 GB大小的VM 需要30多个小时才能完成迁移。在这些环境中,避免这种情况的最佳方法是使用存储区域网络 (SAN) 技术。 在SAN环境中,这些实时vMotion迁移可能需要不到三分钟的时间,因为所有ESXi主机都连接到所有存储阵列。
虹科网络基础设施
2023/01/31
5400
虹科方案|在虚拟化环境中使用ATTO XstreamCORE®智能网桥的安全、简单SAN解决方案
谁才是ARM平台存储系统的忠实践行者?
当生态被把持住之后,想撼动真是难上加难,几十年了,没有任何一家非x86平台能在企业级和桌面市场撼动Intel的地位。幸好在移动终端领域ARM彻底站稳了脚跟,没有给x86一点机会。其实这还是得益于ARM平台的低功耗特性,想做一款移动设备时,大家第一时间想到的不可能是x86,虽然Intel和AMD后来都有各自低功耗产品,但是IT领域先入为主,生态壁垒的玩法,屡试不爽。
冬瓜哥
2019/12/12
1K0
谁才是ARM平台存储系统的忠实践行者?
全面介绍磁盘阵列 RAID 技术
磁盘阵列(Redundant Arrays of Independent Drives,RAID),简单地说,就是讲若干块独立磁盘构成具有冗余能力的阵列。 他将很多块磁盘组合到一起构成一个磁盘组,来提升整个磁盘系统的读写性能及安全性。 利用同位检查(Parity Check)的观念,通过数据冗余实现磁盘系统中任何一个磁盘故障时整个磁盘系统仍然可以继续工作。 对于服务器开发和运维人员,RAID 是必须了解和使用的磁盘系统管理方式,随着时代的进步,越来越多的人在家庭、日常工作中使用简单的磁盘阵列来增加磁盘读写性能或提高数据安全性,甚至一些主板都已经提供了支持 RAID 的功能。 然而,RAID 概念很多,有时候会引起混淆,本文我们来详细介绍一下 RAID 技术的概念特征、基本原理、关键技术、各种等级和发展现状等方面的内容。
用户3147702
2022/06/27
3.2K0
全面介绍磁盘阵列 RAID 技术
精!存储知识,网络工程师必学!
存储就是根据不同的应用环境通过采取合理、 安全、有效的方式将数据保存到某些介质上并能保证有效的访问.
网络技术联盟站
2021/07/02
7460
XINNOR:RAID创新驱动云存储提效
按:本文是XINNOR团队主要负责人,23年11月底在线上做的一次产品宣讲[1],鹏弟本想把原视频拉取下来,有感主要技术负责人口语很难听懂,负担较大,文末附油管链接,感兴趣可自行跳转,了解一手信息。
数据存储前沿技术
2025/02/11
1930
XINNOR:RAID创新驱动云存储提效
DELL存储SCv2000/2020基础配置与使用
描述: 最近业务需要需要将原本装有VMware vSphere的机器直接安装Ubuntu 20.04 TLS,并通过SAS线缆从DELL Storage SCv 2020链接我们的UBUNTU 物理主机上进行SCSI磁盘的挂载共享使用,以下是一些简单的说明;
全栈工程师修炼指南
2020/10/26
8.1K0
DELL存储SCv2000/2020基础配置与使用
NAS 硬件调研
链接:http://www.asrock.com/mb/Intel/J3455-ITX/index.cn.asp
为为为什么
2022/08/06
5.1K0
NAS 硬件调研
记录服务器raid操作
随着公司测试开发的环境数量需求愈来愈大,原本的服务器资源也愈发紧张。在2020年末之际,公司迎来了新的三台华为RH1288 V2服务器;运维小生在这里记录一下此服务器如何配置RAID卡。
summerking
2022/10/27
2.1K0
记录服务器raid操作
Linux硬件-RAID
作者介绍:简历上没有一个精通的运维工程师。请点击上方的蓝色《运维小路》关注我,下面的思维导图也是预计更新的内容和当前进度(不定时更新)。
运维小路
2024/11/01
2650
Linux硬件-RAID
RAID及mdadm命令
介绍一个新概念,RAID,这也是大学的时候的学的东西了,一直很少在工作中使用,有点忘记,今天复习更新一下。分享给大家。 保存数据安全,大家都知道备份。 数据安全其中一个是物理上的方法。就是raid。 RAID 简介 独立硬盘冗余阵列(RAID, Redundant Array of Independent Disks),旧称廉价磁盘冗余阵列(Redundant Array of Inexpensive Disks),简称磁盘阵列。其基本思想就是把多个相对便宜的硬盘组合起来,成为一个硬盘阵列组,使性能达
若与
2018/04/25
2.4K0
RAID及mdadm命令
纵横布局,传统硬盘厂商的突围
硬盘是构成存储系统的最关键部件,对于机械硬盘而言,看似并不太复杂的机械部分,其实细究起来,到处都是无法逾越的技术门槛,一般人还真做不了。回想20几年前,机械硬盘领域有众多品牌,比如西部数据、东芝、迈拓、IBM、希捷、三星等。彼时长城硬盘也开始尝试自主研发,但是发现这个东西坑太多,很多关键技术搞不定,且一些关键器件必须从日本进口,最终还是放弃了。如下图所示,磁头和磁头臂又是机械硬盘里最关键的部分,其复杂和精细度极高。
冬瓜哥
2020/12/18
1.1K0
纵横布局,传统硬盘厂商的突围
若不是它,云存储根本起不来
近几年,新兴存储架构逐渐布满了市场,给由传统SAN架构占据的市场带来了大量的烟火气。不妨列举一下名词:分布式存储,ServerSAN,云存储,对象存储,超融合,一体机。实际上,这堆名词里,除了对象存储描述的是前端访问协议之外,其它的基本上都是基于分布式存储构建的。
冬瓜哥
2021/03/04
7590
相关推荐
RAID2.0对比RAID1.0的优势是什么,分十个维度对比!解析RAID2.0演进的意义!
更多 >
领券
💥开发者 MCP广场重磅上线!
精选全网热门MCP server,让你的AI更好用 🚀
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档