前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Scale-Out与全闪存似乎天然配对儿

Scale-Out与全闪存似乎天然配对儿

作者头像
冬瓜哥
发布2019-06-10 17:04:51
5350
发布2019-06-10 17:04:51
举报
文章被收录于专栏:大话存储大话存储大话存储

Scale-Out的分布式系统为何离不开SSD/全闪存?如果没有闪存,Scale-Out为什么就让人感觉火候不太够?而Scale-Out的出现,除了得益于闪存助力,还有什么其他因素么?本文冬瓜哥就来分析分析。

本文组织:

  1. DELLEMC XtreamIO x2简介
  2. 说说Scale-Out架构与全闪存

1

DELLEMC XtreamIO x2简介

2018年5月1日,戴尔EMC在DellTechnologies World宣布了最新的计算和存储产

戴尔在5月8日宣布了对XtremIOX2的一些重要改变,XtremIO X2在其目前的产品线中,其定价减半(55%),正试图以一个入门级的系统打入中档市场。XtremIO X2在其软件中添加了新功能(提供了将变化数据复制到目标系统的复制方式),这将减少在进行本地复制时传输的数据量。戴尔还宣布,未来版本的XtremIO X2将支持NVMe SCM。

DELLEMC的XtreamIO x2为一款具备横向扩展能力的全闪存阵列。其相比上一代XtreamIO的提升如下图所示:

每个阵列单元称之为X-Brick。每个X-Brick单元可配置18~72个SSD。

上图为XtreamIO x2全闪存阵列X-Brick模块外观图。每个X-Brick高度为1U,分别由Storage Controller、DAE(SSD扩展柜)、UPS电源组成,每个控制器为1U双路服务器,每个X-Brick配置了4个16Gb光纤通道端口、4~8个10GbiSCSI端口、4个56Gb Infiniband端口(每Controller配置2个)以及2个1Gb的管理端口。

下图所示为XtreamIO x2的X-Brick架构。每个控制器运行了一个定制化的轻量级的Linux内核,XIOS。为了获取最高的性能,I/O处理模块直接运行在用户态,直接操作底层硬件。节点间互联采用基于Infiniband网络的RDMA方式。

XtreamIO x2已经在实验室环境中实现了八个X-Brick(16个节点)甚至更大的集群,DELLEMC估计也会很快提供8个X-Brick配置的阵列。从理论上看,8个、16个X-Brick和32个X-Brick并没有区别,但是涉及到很多测试和实际应用场景,即客户当前是否需要这么大的容量和性能。

X-Brick具有非破坏性XIOS软件及硬件升级、拥有高可靠性的热插拔升级,且不存在着单点故障。集群化的XtremIO x2阵列中各个X-Brick可以拥有不同存储容量;集成了VMware VAAI、vmware多通道I/O支持,数据分卷能够夸整个系统;拥有丰富的数据保护功能。

XtreamIO x2全闪存阵列将数据分为4KB的散列块,这些4KB的散列块完全打散,不按照逻辑地址进行排列存储,而是根据物理位置进行安置。如下图所示。

数据天然带有指纹hash,这也是XtreamIO x2实现重复数据删除的基础。

  其他一些产品也使用了类似策略,但是其数据存储方式一般都是基于逻辑地址,时间久了之后不可避免的就会产生磁盘碎片化,从而对性能产生影响。 XtreamIO全闪存阵列的策略则是将数据彻底的打乱完全碎片化,基于4KB的数据块通过指纹来识别、存储、管理等。一方面可以实现全局磨损均衡,令一方面可以让重删变得非常容易。

XtreamIO的数据保护机制XDP,通过双阶数据引擎避免了RAID5、RAID6的写放大外,达到了RAID6的保护效果。

2

说说Scale-Out架构与全闪存

分布式系统的发展有三个技术条件,分别为:高速网络、大容量硬盘、固态介质。这三者彻底解放了分布式系统的生产力。通俗一点说也就是:网络快了、盘容量大了、盘速度快了。高速网络是分布式系统赖以生存的根本,分布式存储系统早在上世纪中后期就已经形成了理论基础,但是一直到近几年,网络的时延和带宽才足以支撑分布式系统架构。为了降低成本,业界兴起所谓软件定义,也就是利用廉价白牌机或者标准的机架服务器,加上分布式存储软件管理层,搭建出软件定义分布式存储系统,与传统的SAN存储系统瓜分市场。而分布式系统的大行其道,极大的促进了固态存储的需求量,因为为了成本考量,分布式系统中每个节点往往不会连接多级JBOD从而靠大量的硬盘形成高并发性能,而是只靠每个服务器自带的少量盘位,加上固态盘来抵消跨网络通信带来的时延增加,形成让传统机械盘系统望尘莫及的IOPS和时延性能。

所以,固态存储系统用于Scale-Out分布式系统可谓是非常自然的一种需求。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-07-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大话存储 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档