首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >超融合方案分析系列(4)H3C超融合方案分析

超融合方案分析系列(4)H3C超融合方案分析

作者头像
大数据和云计算技术
发布2018-03-08 16:26:59
4.2K0
发布2018-03-08 16:26:59
举报

前言

话说天下大势,分久必合,合久必分!超融合到了爆发的边缘!

作者是国内研究超融合相当早的专家,有非常强的理论基础和实战经验。上几篇分析文章,对nutanix/VSAN/深信服等厂家的深入分析,引起了业界很大的反响。

以下是超融合分析系列前面几篇,已经阅读过的同学可以跳过。

超融合概述

超融合产品分析系列(1):nutanix方案

超融合方案分析系列(2):VSAN的超融合方案分析

超融合方案分析系列(3)深信服超融合方案分析

非常深入的超融合分析系列,希望大家会喜欢,另外文章最后附有作者的微信,有兴趣的同学可以加作者做更深入的交流。

下面是本系列的第5篇,对H3C的深入分析。

整体方案

H3C UIS 统一基础架构系统就是H3C的超融合。下面我们来分析一下UIS的方案,在UIS超融合一体机介绍中有一段描述:

H3C UIS-Cell超融合一体机产品是H3C面向IaaS(基础架构即服务)推出的新一代解决方案,包含有UIS-Cell 3000和UIS-Cell 4000两个系列产品,它出厂预集成了CAS以及ONEStor的虚拟化软件,可实现在客户现场30分钟内快速完成基础架构集群搭建,并自带UIS-Cell统一管理软件,可将物理硬件、计算存储网络虚拟化资源统一监控和管理,并实现业务的快速灵活部署, UIS-Cell实现了全基础架构的软件定义,集成了业内领先的计算、存储、网络、安全等虚拟化软件,且可灵活交付业务,极简的管理,有效降低整体TCO。UIS-Cell是云计算的最佳基础架构平台。所以我们可以知道UIS超融合中部署的分布式存储是ONEStor。在《onestor分布式存储系统 安装指导-6w101-整本手册.pdf》中有一段描述:

H3C ONEStor 分布式存储系统(简称ONEStor)基于Ceph 开发,采用分布式技术实现软件定义存储。其以x86 服务器和本地硬盘为基础构建单位,把大批量普通的服务器组织起来形成存储集群。集群对各节点的本地存储设备进行统一管理,将其组成虚拟存储池,对外提供海量的、无差别的统一存储服务。

ONEStor 主要应用于IP SAN 部署和CAS 融合部署。

• IP SAN 部署:通过ONEStor 将多台Ubuntu 服务器的本地硬盘组织成一个统一的存储资源池,对上层应用提供存储服务。Ubuntu 服务器指安装Ubuntu 操作系统的服务器。

• CAS融合部署:通过ONEStor 将多台CAS服务器的本地硬盘组织成一个统一的存储资源池,对上层应用提供存储服务。CAS 服务器指安装CAS 操作系统的服务器。

这里我们知道ONEStor可以说就是Ceph,所以说ONEStor支持块存储和对象存储。

进一步分析

第一,我们先看看支持的硬件

从官网列举的UIS相关硬件如下:

  • H3C UIS-Cell3000超融合一体机(普通2路机架,3种型号,支持2.5和3.5两种硬盘)
  • H3C UIS-Cell4000超融合一体机(4U4节点硬件方案,支持3节点的4030起步)
  • H3C UIS R690 G2机架式超融合系统(4U4路机架服务器,只支持E7-4800v3)
  • H3C UIS R590 G2机架式超融合系统(2U4路机架服务器,只支持E5-4600v3)
  • H3C UIS R390X G2机架式超融合系统(2U2路机架服务器,支持E5-2600v3/v4)

分析到这里,我有个疑问,R390XG2,和Cell 3000的硬件平台非常类似,难道是一个做了预装,一个没有做预装?

另外还有H3C UIS8000 超融合刀箱,这款刀片服务器,和hp的C7000各个参数完全一致。包括下面的存储刀片D3000,无法独立部署,必须结合B390或者B590刀片一起,就是说计算存储合在一起当作融合节点使用。D3000作为直连存储连接到计算刀片的主板上。

其实从安装指导书中,我还发现支持Dell PowerEdge R720 服务器。

第二,看看对服务器的需求:

在《H3C CAS零存储工程开局指导书V1.1.chm》文档中我找到了OneStor存储对机架服务器的需求:

在零存储安装指导书中也找到相关的要求:

这里重点部分,我用红色标准,解读如下:

1、从上面看,推荐是SAS盘。但是官网宣传是同时支持2.5寸SAS和3.5寸SATA,为神秘推荐10000rpm的SAS,估计和下面原因有关:采用raid卡cache做分布式存储cache,对系统影响较大,只有SAS盘才能保证一定的性能。

2、阵列卡必须带至少2G cache,而且在备注中说明要采用带电容的。如果RAID卡缓存没有配置电容,在开机自检画面会有报错,比如FlexServer服务器会提示“Super-Cap报错”。很明显目前OneStor还采用 Raid卡的缓存做分布式存储的缓存,这种缓存比例太小,对系统的性能影响非常大。

3、数据盘要组raid0,无法采用直通模式,对可维护性带来相当大的影响:无法支持热插拔。添加磁盘需要重启服务器先组raid0(已经支持界面操作)。数据盘插板操作有严格要求:

4、对数据盘加入资源池必须先格式化,并且要采用ext4文件系统(在新版本支持xfs文件系统)。这是Ceph本身的机制问题。这样的好处是利用文件系统管理磁盘,降低磁盘管理的复杂度,同时也能利用OS的page cache做读写加速。缺点也非常明显:

  1. 占用Page Cache,导致IO并发大时,对存储开销非常大,耗尽内存。
  2. IO路径变长,导致时延相比其它分布式存储方案来说要差一些。
  3. 同时容易收文件系统本身的稳定性影响,当异常掉电或者OS异常奔溃时,文件系统格式化后的分区很容易出现异常,需要做文件系统检查fscheck,甚至要做文件系统恢复。

5、磁盘格式化后需要挂着到OS,参见下图:

6、推荐要求不同节点配置相同大小和类型的硬盘,也就是说推荐硬盘同构,实际上Ceph是支持不同容量的磁盘组成资源池,但是这个特性不是最佳实践,反而导致系统问题:下面从版本说明书中摘录出来的:

7、支持采用SSD作为HDD的cache,这里SSD要先分区,每个分区对应一个HDD磁盘。从最新文档上看,到218版本才支持SSD读缓存。在官网上宣传支持读写缓存。

8、最后来说说分布式存储的资源开销:从新将上面的对CPU和内存的需求摘录如下:

我们简单计算一下:按正常的2颗E5-2630V4 10核计算,单台服务器有20核,2.2频率。UIS 3020支持29个硬盘,那么需要29Ghz,基本上2630V4一半以上的CPU都被占用了。融合部署的情况下,留给业务的CPU就很少了。

再说内存。如果按8TB大盘计算,单节点最大支持16个3.5寸大盘,我们就按3个硬盘起步,那么3*8TB=24TB。那么每个节点需要最少需要内存达到24GB。这还是正常的分布式存储系统内存开销。所以注定了UIS对大盘的支持有限,或者说代价高昂。

最后总结

H3C的超融合没有找到技术白皮书,从维护手册、安装说明、用户手册中做的分析推测,不一定完全正确,另外资料和版本实际能力不一定完全一致,如果有错误,请大家及时指正,谢谢。

最后结尾依旧谈点感想:H3C做网络起家,同样顺应IT技术发展,切入云计算,推出超融合,虽然说CAS虚拟化是基于KVM的开源内核,零存储也是基于Ceph。但是通过大规模的实战,经过多年的锤炼,超融合产品也得到市场的认可。但是因为本身产品架构的原因,Ceph并不是一个合适做超融合的产品。包括上面谈到的资源开销,基于文件系统导致影响维护性等等。Ceph被红帽收购后,虽然在OpenStack下作为主流的原生分布式存储方案的得到了大量第三方厂家的推崇,但是红帽自己推出的超融合基础架构却是基于GlusterFS的,不能不看到支持Ceph的厂家脸上大写的尴尬。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2017-08-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据和云计算技术 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档