超融合方案分析系列(4)H3C超融合方案分析

前言

话说天下大势,分久必合,合久必分!超融合到了爆发的边缘!

作者是国内研究超融合相当早的专家,有非常强的理论基础和实战经验。上几篇分析文章,对nutanix/VSAN/深信服等厂家的深入分析,引起了业界很大的反响。

以下是超融合分析系列前面几篇,已经阅读过的同学可以跳过。

超融合概述

超融合产品分析系列(1):nutanix方案

超融合方案分析系列(2):VSAN的超融合方案分析

超融合方案分析系列(3)深信服超融合方案分析

非常深入的超融合分析系列,希望大家会喜欢,另外文章最后附有作者的微信,有兴趣的同学可以加作者做更深入的交流。

下面是本系列的第5篇,对H3C的深入分析。

整体方案

H3C UIS 统一基础架构系统就是H3C的超融合。下面我们来分析一下UIS的方案,在UIS超融合一体机介绍中有一段描述:

H3C UIS-Cell超融合一体机产品是H3C面向IaaS(基础架构即服务)推出的新一代解决方案,包含有UIS-Cell 3000和UIS-Cell 4000两个系列产品,它出厂预集成了CAS以及ONEStor的虚拟化软件,可实现在客户现场30分钟内快速完成基础架构集群搭建,并自带UIS-Cell统一管理软件,可将物理硬件、计算存储网络虚拟化资源统一监控和管理,并实现业务的快速灵活部署, UIS-Cell实现了全基础架构的软件定义,集成了业内领先的计算、存储、网络、安全等虚拟化软件,且可灵活交付业务,极简的管理,有效降低整体TCO。UIS-Cell是云计算的最佳基础架构平台。所以我们可以知道UIS超融合中部署的分布式存储是ONEStor。在《onestor分布式存储系统 安装指导-6w101-整本手册.pdf》中有一段描述:

H3C ONEStor 分布式存储系统(简称ONEStor)基于Ceph 开发,采用分布式技术实现软件定义存储。其以x86 服务器和本地硬盘为基础构建单位,把大批量普通的服务器组织起来形成存储集群。集群对各节点的本地存储设备进行统一管理,将其组成虚拟存储池,对外提供海量的、无差别的统一存储服务。

ONEStor 主要应用于IP SAN 部署和CAS 融合部署。

• IP SAN 部署:通过ONEStor 将多台Ubuntu 服务器的本地硬盘组织成一个统一的存储资源池,对上层应用提供存储服务。Ubuntu 服务器指安装Ubuntu 操作系统的服务器。

• CAS融合部署:通过ONEStor 将多台CAS服务器的本地硬盘组织成一个统一的存储资源池,对上层应用提供存储服务。CAS 服务器指安装CAS 操作系统的服务器。

这里我们知道ONEStor可以说就是Ceph,所以说ONEStor支持块存储和对象存储。

进一步分析

第一,我们先看看支持的硬件

从官网列举的UIS相关硬件如下:

  • H3C UIS-Cell3000超融合一体机(普通2路机架,3种型号,支持2.5和3.5两种硬盘)
  • H3C UIS-Cell4000超融合一体机(4U4节点硬件方案,支持3节点的4030起步)
  • H3C UIS R690 G2机架式超融合系统(4U4路机架服务器,只支持E7-4800v3)
  • H3C UIS R590 G2机架式超融合系统(2U4路机架服务器,只支持E5-4600v3)
  • H3C UIS R390X G2机架式超融合系统(2U2路机架服务器,支持E5-2600v3/v4)

分析到这里,我有个疑问,R390XG2,和Cell 3000的硬件平台非常类似,难道是一个做了预装,一个没有做预装?

另外还有H3C UIS8000 超融合刀箱,这款刀片服务器,和hp的C7000各个参数完全一致。包括下面的存储刀片D3000,无法独立部署,必须结合B390或者B590刀片一起,就是说计算存储合在一起当作融合节点使用。D3000作为直连存储连接到计算刀片的主板上。

其实从安装指导书中,我还发现支持Dell PowerEdge R720 服务器。

第二,看看对服务器的需求:

在《H3C CAS零存储工程开局指导书V1.1.chm》文档中我找到了OneStor存储对机架服务器的需求:

在零存储安装指导书中也找到相关的要求:

这里重点部分,我用红色标准,解读如下:

1、从上面看,推荐是SAS盘。但是官网宣传是同时支持2.5寸SAS和3.5寸SATA,为神秘推荐10000rpm的SAS,估计和下面原因有关:采用raid卡cache做分布式存储cache,对系统影响较大,只有SAS盘才能保证一定的性能。

2、阵列卡必须带至少2G cache,而且在备注中说明要采用带电容的。如果RAID卡缓存没有配置电容,在开机自检画面会有报错,比如FlexServer服务器会提示“Super-Cap报错”。很明显目前OneStor还采用 Raid卡的缓存做分布式存储的缓存,这种缓存比例太小,对系统的性能影响非常大。

3、数据盘要组raid0,无法采用直通模式,对可维护性带来相当大的影响:无法支持热插拔。添加磁盘需要重启服务器先组raid0(已经支持界面操作)。数据盘插板操作有严格要求:

4、对数据盘加入资源池必须先格式化,并且要采用ext4文件系统(在新版本支持xfs文件系统)。这是Ceph本身的机制问题。这样的好处是利用文件系统管理磁盘,降低磁盘管理的复杂度,同时也能利用OS的page cache做读写加速。缺点也非常明显:

  1. 占用Page Cache,导致IO并发大时,对存储开销非常大,耗尽内存。
  2. IO路径变长,导致时延相比其它分布式存储方案来说要差一些。
  3. 同时容易收文件系统本身的稳定性影响,当异常掉电或者OS异常奔溃时,文件系统格式化后的分区很容易出现异常,需要做文件系统检查fscheck,甚至要做文件系统恢复。

5、磁盘格式化后需要挂着到OS,参见下图:

6、推荐要求不同节点配置相同大小和类型的硬盘,也就是说推荐硬盘同构,实际上Ceph是支持不同容量的磁盘组成资源池,但是这个特性不是最佳实践,反而导致系统问题:下面从版本说明书中摘录出来的:

7、支持采用SSD作为HDD的cache,这里SSD要先分区,每个分区对应一个HDD磁盘。从最新文档上看,到218版本才支持SSD读缓存。在官网上宣传支持读写缓存。

8、最后来说说分布式存储的资源开销:从新将上面的对CPU和内存的需求摘录如下:

我们简单计算一下:按正常的2颗E5-2630V4 10核计算,单台服务器有20核,2.2频率。UIS 3020支持29个硬盘,那么需要29Ghz,基本上2630V4一半以上的CPU都被占用了。融合部署的情况下,留给业务的CPU就很少了。

再说内存。如果按8TB大盘计算,单节点最大支持16个3.5寸大盘,我们就按3个硬盘起步,那么3*8TB=24TB。那么每个节点需要最少需要内存达到24GB。这还是正常的分布式存储系统内存开销。所以注定了UIS对大盘的支持有限,或者说代价高昂。

最后总结

H3C的超融合没有找到技术白皮书,从维护手册、安装说明、用户手册中做的分析推测,不一定完全正确,另外资料和版本实际能力不一定完全一致,如果有错误,请大家及时指正,谢谢。

最后结尾依旧谈点感想:H3C做网络起家,同样顺应IT技术发展,切入云计算,推出超融合,虽然说CAS虚拟化是基于KVM的开源内核,零存储也是基于Ceph。但是通过大规模的实战,经过多年的锤炼,超融合产品也得到市场的认可。但是因为本身产品架构的原因,Ceph并不是一个合适做超融合的产品。包括上面谈到的资源开销,基于文件系统导致影响维护性等等。Ceph被红帽收购后,虽然在OpenStack下作为主流的原生分布式存储方案的得到了大量第三方厂家的推崇,但是红帽自己推出的超融合基础架构却是基于GlusterFS的,不能不看到支持Ceph的厂家脸上大写的尴尬。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2017-08-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏阮一峰的网络日志

生活中必不可少的15个Web2.0网站

TechCrunch的编辑列出了一张清单,上面是2007年生活中必不可少的15个web2.0网站。我建议大家每一个都打开看一下,它们很大程度上代表了未来10年中...

39213
来自专栏杨建荣的学习笔记

一次快速的数据迁移感悟(r8笔记第54天)

最近碰到一件事情很感慨,简单说说。 有下面的三个数据库实例,都是在开发测试中使用,一台服务器上有业务1+业务2,另外一台服务器上有业务1+业务2. 当然为什么会...

2863
来自专栏大宽宽的碎碎念

分布式系统如何定位压力问题监控监控什么呢实际的压力问题怎么发生的我用的工具

2766
来自专栏大数据和云计算技术

Chronos:数据中心的任务调度器(job scheduler)

大家周二好,不知不觉工作半周了。今天给大家介绍一个扩展性比较强的开源的调度程序,在研究数据中心调度的兄弟可以好好研究下。 1、Chronos来源 C...

3316
来自专栏云市场·精选汇

想做个网站,却说要“备案”,那什么是“备案”呢?

做网站,在使用国内服务器的时候,就需要去国家工信部门做“备案”了;国外服务器,不论是美国、香港还是台湾的服务器,是不需要备案了。

1003
来自专栏MessageQueue

2017上海QCon之旅总结(下)

本来这个公众号的交流消息中间件相关的技术的。十月去上海参加了QCon,第一次参加这样的技术会议,感受挺多的,所以整理一下自己的一些想法接公众号和大家交流一下。

872
来自专栏阮一峰的网络日志

云平台服务商一览

2007年6月,三个美国年轻人决定成立一家新型的网络主机公司。 他们----James Lindenbaum,Adam Wiggins和Orion Henry-...

2677
来自专栏微服务生态

看来微服务就是一把双刃剑

微服务是银弹吗?自2014年“微服务”一词真是越来越火,不谈Microservices彷佛就out了,那么我们先来看微服务具有哪些特点:

661
来自专栏IT派

什么是 Native、Web App、Hybrid、React Native 和 Weex?

Native、Web App、Hybrid、React Native(后面以RN简称)、Weex 间的异同点,后期同步 小程序 和 PWA。

572
来自专栏程序猿

【云计算知识普及】什么是CDN

云计算-CDN Content Delivery Network,缩写CDN,中文名字为内容分发网络 目的:使内容传输的更快、更稳定 原理思路:...

2775

扫描关注云+社区