超融合产品分析系列（1）：nutanix方案

导言

上篇概述了一下现在非常火的超融合《超融合概述》。接下来要分析一下各家的超融合方案，今天开始第一家的分析：nutanix的超融合方案分析。

根据各种公开的资料，nutanix2017 年.NEXT大会于6月28日在美国召开。从各种报道看，超融合已经只是nutanix的一个小部分，nutanix和google结盟，推出了给予nutanix私有云和GCP的混合云方案，基于nutanix在超融合上对三大主流hypervisor的支持，相信nutanix有意愿或者有能力甚至有计划支持AWS以及Azure。

作为私有云的最核心部分，相信超融合依然是我们在中国区目前最容易见到的nutanix产品，nutanix的软件以及架构有nutanix bible等这样的经典以及各种分析的文档，我今天的分析重点在于硬件平台与部署方案，必要时参考软件架构做分析。

在nutanix架构中，NDFS（NutanixDistributed Filesystem）以及管理系统Prism均部署在CVM上（https://www.nutanix.com/documents/datasheets/nutanix-specsheet.pdf ）。

NX-1000系列

NX-1000系列采用典型的2U4节点方案，硬件一般来说是中国台湾超微的服务器。从NX-1000的data-sheet分析，我们可以看到两个子型号都支持GE组网,而1065系列还支持扩展一张10GE网卡；每个节点仅仅3个硬盘，其中1个SSD中拿出一部分空间来部署上述的CVM控制虚拟机，剩余的空间作为一部分拿来做操作日志SSD cache 也用来做SSD主存，HDD作为二级存储介质，两个3.5英寸大盘，单盘最大支持8TB。nutanix方案是一个分级存储方案。4个节点总的磁盘裸容量为8个3.5英寸大盘，共计64TB。

那么问题来了：从上图的NX-1000能看出 Hypervisor部署在那里么？这个问题在nutanix bible中也没有解释，貌似一笔带过了。其实这也是我今天要指出的重点。Hypervisor是一个虚拟化的OS，必须部署在启动介质上，如果大家访问外国网站去看nutanix提供的视频，可以看到视频中介绍每个节点都含有一块64G的SATADOM（一个很小的固态盘或者叫电子硬盘）

下图是我从百度上找到的图，仅供参考：

这个SATADOM 在整个方案中最大的特点是单块介质，不提供硬raid卡或者软raid方案，而SATADOM作为闪存盘，本身容量这么小的情况下，颗粒也少，寿命也差，一般只有3000次寿命，所以整体可靠性差。同时SATADOM故障等同于整个节点故障，更换需要将节点退出集群，并且下电拆箱才能更换，更换后，需要作为新节点重新加入集群，所以也可以说可维护性差。

那么既然SATADOM方案存在这么多问题，为什么大家还要采用这个方案。我猜想是在这么高的集成度下（2U4节点）已经没有多余的IO扩展槽位来部署另外1-2个HDD盘外加一个独立的raid卡来部署hypervisor了。节点仅有的一张raid卡已经被hypervisor直通给CVM虚拟机，保证NDFS能通过raid卡访问到raid卡上的硬盘（SSD+HDD）。

如果一台服务器有2个raid卡，那么一个raid卡接2个普通的SAS盘做hypervisor，另外一个raid卡保持不变，接SSD和数据磁盘，能兼顾可靠性和可维护性，整体方案虽然成本增加了一点点，但是优势更加明显。

下面是节点逻辑架构图：

在NX1000方案中，因为采用大盘，导致2U空间最多只能支持12个3.5英寸大盘，那么均分祷4个节点，每个节点最多3个硬盘，所以上面给出了2种方案，混合的方案（1*SSD+2*HDD）和全闪存方案（2017年最新推出）。

针对这种简化的方案，单节点的可靠性并不高（SATADOM部署的Hypervisor存在单点故障，SSD上部署的CVM也存在单点故障），好在本身就是去中心化的分布式方案，所以换掉一个节点，在资源足够的情况下，理论上不会影响业务。

下图是SSD存储介质上部署的分解图：

最后来一张分布式存储逻辑图作为：

NX-3000

分析完NX1000系列后，我们再一起看看在国内比较广泛的NX-3000，尤其是3060系列。

NX3060系列同样是2U4节点，每个节点是6个硬盘，其中2个是SSD，4个是HDD。在2U空间，每个节点能支持6个硬盘，4个节点支持24个硬盘，必然是2.5英寸硬盘。目前最大规格的2.5英寸普通HDD磁盘为2TB的NL-SAS盘。而SAS盘最大规格为1.8TB。所以nutanix选择了1TB或者2TB这两种典型规格。全闪存方案也是类似。

和NX-1000一样，NX-3000选择性的忽略了SATADOM的介绍。有了上面的分析，这里就不在赘述了。

另外NX-3060系列的CPU，一共5种型号E5-2620v4/E5-2640v4/ E5-2650v4/ E5-2680v4/ E5-2695v4。通过查询intel官方，仔细分析就能发现，这5款CPU最大的功耗是120w（E5-2680v4/ E5-2695v4）。2U4节点的密度高，空间有限，导致散热能力也有限，超微的2U4节点只能支持在10°C to 35°C的工作稳定。CPU的选择估计和这个有关系。

除了2U4节点，nutanix还有2U2节点，和2U1节点多种方案，只是后面两种在国内很少见，所以就不在过多描述。

说了这么多，好像我都说的是nutanix的不足，其实nutanix作为超融合的先驱厂家，更多的是软件层面的技术创新，比如在一块SSD上支持部署CVM后再做分级存储介质。支持一键式切换多种hypervisor。管理程序物理部署完全一样，只有逻辑角色的区别，等等。大家有兴趣可以去看英文的nutanix bible，理解更深刻。

总结

最后说一下我的体会：超融合作为一个软硬件一体化的产品，如果通过软件方案来适应现有硬件方案，必然会有一些解决方案层面的取舍，要想解决上面的问题，必然带来硬件方案的改动，这往往是一个以软件为主的超融合厂家的劣势。