超融合方案分析系列(4)H3C超融合方案分析

前言

话说天下大势,分久必合,合久必分!超融合到了爆发的边缘!

作者是国内研究超融合相当早的专家,有非常强的理论基础和实战经验。上几篇分析文章,对nutanix/VSAN/深信服等厂家的深入分析,引起了业界很大的反响。

以下是超融合分析系列前面几篇,已经阅读过的同学可以跳过。

超融合概述

超融合产品分析系列(1):nutanix方案

超融合方案分析系列(2):VSAN的超融合方案分析

超融合方案分析系列(3)深信服超融合方案分析

非常深入的超融合分析系列,希望大家会喜欢,另外文章最后附有作者的微信,有兴趣的同学可以加作者做更深入的交流。

下面是本系列的第5篇,对H3C的深入分析。

整体方案

H3C UIS 统一基础架构系统就是H3C的超融合。下面我们来分析一下UIS的方案,在UIS超融合一体机介绍中有一段描述:

H3C UIS-Cell超融合一体机产品是H3C面向IaaS(基础架构即服务)推出的新一代解决方案,包含有UIS-Cell 3000和UIS-Cell 4000两个系列产品,它出厂预集成了CAS以及ONEStor的虚拟化软件,可实现在客户现场30分钟内快速完成基础架构集群搭建,并自带UIS-Cell统一管理软件,可将物理硬件、计算存储网络虚拟化资源统一监控和管理,并实现业务的快速灵活部署, UIS-Cell实现了全基础架构的软件定义,集成了业内领先的计算、存储、网络、安全等虚拟化软件,且可灵活交付业务,极简的管理,有效降低整体TCO。UIS-Cell是云计算的最佳基础架构平台。所以我们可以知道UIS超融合中部署的分布式存储是ONEStor。在《onestor分布式存储系统 安装指导-6w101-整本手册.pdf》中有一段描述:

H3C ONEStor 分布式存储系统(简称ONEStor)基于Ceph 开发,采用分布式技术实现软件定义存储。其以x86 服务器和本地硬盘为基础构建单位,把大批量普通的服务器组织起来形成存储集群。集群对各节点的本地存储设备进行统一管理,将其组成虚拟存储池,对外提供海量的、无差别的统一存储服务。

ONEStor 主要应用于IP SAN 部署和CAS 融合部署。

• IP SAN 部署:通过ONEStor 将多台Ubuntu 服务器的本地硬盘组织成一个统一的存储资源池,对上层应用提供存储服务。Ubuntu 服务器指安装Ubuntu 操作系统的服务器。

• CAS融合部署:通过ONEStor 将多台CAS服务器的本地硬盘组织成一个统一的存储资源池,对上层应用提供存储服务。CAS 服务器指安装CAS 操作系统的服务器。

这里我们知道ONEStor可以说就是Ceph,所以说ONEStor支持块存储和对象存储。

进一步分析

第一,我们先看看支持的硬件

从官网列举的UIS相关硬件如下:

  • H3C UIS-Cell3000超融合一体机(普通2路机架,3种型号,支持2.5和3.5两种硬盘)
  • H3C UIS-Cell4000超融合一体机(4U4节点硬件方案,支持3节点的4030起步)
  • H3C UIS R690 G2机架式超融合系统(4U4路机架服务器,只支持E7-4800v3)
  • H3C UIS R590 G2机架式超融合系统(2U4路机架服务器,只支持E5-4600v3)
  • H3C UIS R390X G2机架式超融合系统(2U2路机架服务器,支持E5-2600v3/v4)

分析到这里,我有个疑问,R390XG2,和Cell 3000的硬件平台非常类似,难道是一个做了预装,一个没有做预装?

另外还有H3C UIS8000 超融合刀箱,这款刀片服务器,和hp的C7000各个参数完全一致。包括下面的存储刀片D3000,无法独立部署,必须结合B390或者B590刀片一起,就是说计算存储合在一起当作融合节点使用。D3000作为直连存储连接到计算刀片的主板上。

其实从安装指导书中,我还发现支持Dell PowerEdge R720 服务器。

第二,看看对服务器的需求:

在《H3C CAS零存储工程开局指导书V1.1.chm》文档中我找到了OneStor存储对机架服务器的需求:

在零存储安装指导书中也找到相关的要求:

这里重点部分,我用红色标准,解读如下:

1、从上面看,推荐是SAS盘。但是官网宣传是同时支持2.5寸SAS和3.5寸SATA,为神秘推荐10000rpm的SAS,估计和下面原因有关:采用raid卡cache做分布式存储cache,对系统影响较大,只有SAS盘才能保证一定的性能。

2、阵列卡必须带至少2G cache,而且在备注中说明要采用带电容的。如果RAID卡缓存没有配置电容,在开机自检画面会有报错,比如FlexServer服务器会提示“Super-Cap报错”。很明显目前OneStor还采用 Raid卡的缓存做分布式存储的缓存,这种缓存比例太小,对系统的性能影响非常大。

3、数据盘要组raid0,无法采用直通模式,对可维护性带来相当大的影响:无法支持热插拔。添加磁盘需要重启服务器先组raid0(已经支持界面操作)。数据盘插板操作有严格要求:

4、对数据盘加入资源池必须先格式化,并且要采用ext4文件系统(在新版本支持xfs文件系统)。这是Ceph本身的机制问题。这样的好处是利用文件系统管理磁盘,降低磁盘管理的复杂度,同时也能利用OS的page cache做读写加速。缺点也非常明显:

  1. 占用Page Cache,导致IO并发大时,对存储开销非常大,耗尽内存。
  2. IO路径变长,导致时延相比其它分布式存储方案来说要差一些。
  3. 同时容易收文件系统本身的稳定性影响,当异常掉电或者OS异常奔溃时,文件系统格式化后的分区很容易出现异常,需要做文件系统检查fscheck,甚至要做文件系统恢复。

5、磁盘格式化后需要挂着到OS,参见下图:

6、推荐要求不同节点配置相同大小和类型的硬盘,也就是说推荐硬盘同构,实际上Ceph是支持不同容量的磁盘组成资源池,但是这个特性不是最佳实践,反而导致系统问题:下面从版本说明书中摘录出来的:

7、支持采用SSD作为HDD的cache,这里SSD要先分区,每个分区对应一个HDD磁盘。从最新文档上看,到218版本才支持SSD读缓存。在官网上宣传支持读写缓存。

8、最后来说说分布式存储的资源开销:从新将上面的对CPU和内存的需求摘录如下:

我们简单计算一下:按正常的2颗E5-2630V4 10核计算,单台服务器有20核,2.2频率。UIS 3020支持29个硬盘,那么需要29Ghz,基本上2630V4一半以上的CPU都被占用了。融合部署的情况下,留给业务的CPU就很少了。

再说内存。如果按8TB大盘计算,单节点最大支持16个3.5寸大盘,我们就按3个硬盘起步,那么3*8TB=24TB。那么每个节点需要最少需要内存达到24GB。这还是正常的分布式存储系统内存开销。所以注定了UIS对大盘的支持有限,或者说代价高昂。

最后总结

H3C的超融合没有找到技术白皮书,从维护手册、安装说明、用户手册中做的分析推测,不一定完全正确,另外资料和版本实际能力不一定完全一致,如果有错误,请大家及时指正,谢谢。

最后结尾依旧谈点感想:H3C做网络起家,同样顺应IT技术发展,切入云计算,推出超融合,虽然说CAS虚拟化是基于KVM的开源内核,零存储也是基于Ceph。但是通过大规模的实战,经过多年的锤炼,超融合产品也得到市场的认可。但是因为本身产品架构的原因,Ceph并不是一个合适做超融合的产品。包括上面谈到的资源开销,基于文件系统导致影响维护性等等。Ceph被红帽收购后,虽然在OpenStack下作为主流的原生分布式存储方案的得到了大量第三方厂家的推崇,但是红帽自己推出的超融合基础架构却是基于GlusterFS的,不能不看到支持Ceph的厂家脸上大写的尴尬。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2017-08-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏安恒信息

国家.cn根域名服务器遭遇有史最大的DDOS攻击

25日凌晨,“.CN”域名经历“惊魂一夜”,多家网站及新浪微博客户端无法登录。中国互联网络信息中心(CNNIC)新浪认证微博25日10时30分许确认了...

2746
来自专栏蓝天

带外架构——远程网络管理的整合

摘要:本文回顾比较通用的监测、维护和恢复系统的方法,同时探索更有效的方法来满足日益紧迫的网络评估目标要求-减少成本同时提高业务水平和生产能力。  这篇文章还将...

581
来自专栏乐沙弥的世界

DBA 的那些事

      说起DBA,全称是Database Administrator,不是Doctor of Business Administration,千万不要误解...

960
来自专栏noteless

7.计算机网络的发展 计算机网络发展背景 原因 阿帕网与计算机网络 通信方式 电路 报文 分组 包 交换 卡恩 瑟夫 网络控制协议 NCP TCP ip诞生发展 tcp 协议族 应用编程接口

https://baike.baidu.com/item/%E4%BA%92%E8%81%94%E7%BD%91%E5%8F%91%E5%B1%95%E5%8F...

903
来自专栏安恒信息

运维安全中的“福尔摩斯”

引 言 随着互联网技术的发展,信息的交互越来越频繁,随之而来信息的安全、运维操作的合规性等等问题越来越多,其对于企业内部管理来说要求越来越高。2015年某某网...

2827
来自专栏运维平台规划

巧妙的CMDB设计,减少告警对运维的轰炸

本文主要介绍运维CMDB的设计思路,恰当的CMDB设计,对运维效率的提升,如收敛告警和故障自愈等,有着意向不到的效果。

2524
来自专栏北京马哥教育

深度解密 | 2017天猫双11,1682亿背后的阿里绝密50+技术

? 引言 ? 大家都知道,2017年双11又创造了新纪录,全天交易额1682亿,交易峰值32.5万笔/秒,支付峰值25.6W笔/秒,狂欢的背后是极其复杂庞大的...

3638
来自专栏Java架构沉思录

十分钟搞懂负载均衡

我们知道负载均衡层的作用是“将来源于外部的处理压力通过某种规律/手段分摊到内部各个处理节点上”,那么不同的业务场景需要的负载均衡方式又是不一样的,架构师还要考虑...

772
来自专栏程序小工

【转】PHP发展路径

按照了解的很多 PHP/LNMP 程序员的发展轨迹,结合个人经验体会,抽象出很多程序员对未来的迷漫,特别对技术学习的盲目和慌乱,简单梳理了这个每个阶段 PHP ...

752
来自专栏Java架构

Java架构师如何冲击年薪40w

2184

扫码关注云+社区