vSAN6.1“豪华”测试体验

在分享了VMware的容灾和双活方案以后，受到到了广大朋友欢迎。本公众号将继续分享我在工作中和学习中的一些心得，也欢迎大家一起交流。

《VIOS HealthAdvisor 工具的使用与分析 》、《AIX 下磁盘I/O 性能分析》、《Power 服务器IVE 网卡etherchannel 配置步骤与性能评估》、《PowerVM 环境下实施PowerHA7.1 要点》、《IBM PowerHA6.1 DARE 的功能介绍》 、《GPFS 3.4 的配置变更与性能评估》、《AIX 6.1 中TCP 应答时间参数对网络性能的影响》、《IBM Power7 服务器Hypervisor 内存使用情况研究》、《AIX 6.1 异步I/O 的配置与性能评估》、《IBM PowerVMMultiple Shared-Processor Pools 配置实例》 、《PowerVMAdvanced Memory Deduplication 的实现》 、《使用clmgr 命令配置PowerHA 7.1》 、《PowerVM 2.2 下SharedStorage Pool 的配置与调优》 、《虚拟化环境下CPU 利用率的监控与探究》

最近我进行了vSAN6.1的基本功能、高可用以及简单的性能测试，同时利用监控软件对vSAN进行了监控（由于篇幅有限，测试的都不是太复杂）。整体而言，vSAN6.1的可维护性、高可用、性能都很不错。下面我详细进行介绍。

一. 硬件环境

本次测试，使用了3台浪潮两路服务器，每个服务器4个SSD磁盘，4个SAS磁盘。SSD磁盘容量为500G，SAS磁盘容量为600G,15K。测试时，每个服务器使用了一个万兆网口，一个千兆网口。

我们都知道，在混合模式下，vSAN一个节点最多5个磁盘组，每个磁盘组有且只能有一块SSD磁盘，至少有一块SAS/SATA磁盘，最多有7个SAS/SATA磁盘。为了最佳配置，我将ESXi安装到一块SSD磁盘上，利用剩余的三个SSD和4个SAS磁盘创建三个磁盘组。没错这样创建是有一点点“奢侈”，所以我把这次测试成为“豪华”测试。

下图是四块SAS磁盘。

此款服务器SSD磁盘位于服务器后部，电源上面：

服务器阵列卡的型号为：LSI MegaRAID 9271-8I。阵列卡是双通道的，通道0控制SSD磁盘，通道1控制SAS磁盘（下图为四块SSD磁盘）：

因为阵列卡不支持直通模式，将每台服务器8块盘做成了8个RAID0.

二. vSAN基本配置

服务器安装的ESXi版本为vSphere6U1，对应vSAN版本为6.1. vCenter安装6 Linux Appliance。

vSAN的配置非常简单，简单到很多人感慨“大名鼎鼎的vSAN配置怎么可以这么没有难度！”，具体而言，其步骤是：

（1） 打开集群中的vSAN属性

vSAN只是vSphere Cluster的一个属性，编辑集群属性，将vSAN勾上即可。需要注意的是，万兆交换机需要打开组播功能。

（2） 创建vSAN网络

每个ESXi创建一个新的VMkernel网络，选择创建新的虚拟标准交换机（分布式也可以），将其上行链路指定到连通的万兆网口。网络标签中把vSAN勾上。

（3） 声明磁盘

接触过vSAN5.5的朋友应该还有印象，在5.5中，很多时候我们需要用命令行将一个磁盘标示为SSD或者SAS。在6.1中，这步可以点击鼠标完成。

如下图，只需要把三个主机的SSD和SAS磁盘分别标示为闪存和HDD，然后将磁盘声明成对应的存储层和缓存层，vSAN磁盘组会自动创建，如果想手动调整，那么就删除自动创建的磁盘组，手动创建。

三. vSAN参数调整

默认情况下，vSAN的组件出现故障后，修复延迟时间为60分钟，试验中，为了效果更加明显，将其缩短为5分钟。

在所有vSAN节点上修改如下参数：

修改完以后，在所有ESXi节点上重启clomd进程，使之生效。

或许有的朋友环境中ESXi的远程登录未打开，没关系，不用进机房，启动如下服务即可：

四. 监控工具

测试中，我尝试了vSAN Observer和vROps对vSAN进行监控。前者是免费的，集成在vSAN中，后续收费，需要单独安装。

比较而言，Observer关注的信息更细致，但需要终端能够访问外网（展示需要）。vROps偏重于整体监控，展示效果更好，并且vROps可以监控vSphere以及其他所有VMware软件产品。对于中大型数据中心，我推荐使用vROps。

（1） vSANObserver

启动Observer的方法：

ssh到vCenter ，进入到shell模式：

执行如下命令：

localhost:~ # rvcadministrator@localhost

WARNING: Nokogiri was built againstLibXML version 2.7.6, but has dynamically loaded 2.9.2

password:

然后一步一步进入到集群目录下：

0 /

1 localhost/

> cd 1

/localhost> ls

0 Datacenter (datacenter)

/localhost> cd 0

/localhost/Datacenter> ls

0 storage/

1 computers [host]/

2 networks [network]/

3 datastores [datastore]/

4 vms [vm]/

/localhost/Datacenter> cd 1

/localhost/Datacenter/computers> ls

0 Cluster(cluster): cpu 122 GHz, memory 715 GB

/localhost/Datacenter/computers> cd0

执行如下命令：

/localhost/Datacenter/computers/Cluster> vsan.observer. --run-webserver --force

服务启动以后，不要关闭界面，打开浏览器，输入：

http://vcenterIP:8010

输入VC的用户名密码登录后，我们机可以看到丰富的信息：

（2） vROps

测试中，我安装了vROps6.1版本，加载了一个管理包，专门用于管理存储设备：

创建与VC的连接以后，就会出现多个对应的仪表盘：

每个仪表盘里面的信息都是非常有用，直观的。

五. 性能测试

由于最近比较忙，因此截止到目前，我只做了一个简单的性能测试。

在vSAN上使用默认存储策略创建一个虚拟机，安装windows2008r2，操作系统里面创建一个2T的F盘。然后使用iometer对其发压力，启动三个worker，发起4K I/O读：

可以看到IOPS，轻松4.8万。

这里，请先不要质疑I/O类型，接下来，我会进行更多的测试。

六．高可用测试

高可用测试中，我进行了拔磁盘、服务器断电的测试。

（1） 拔盘测试

vSAN上有一个虚拟机，FTT设置为1，也就是有两份数据。拔掉一块磁盘以后，该磁盘对应的磁盘组状态将不正常，但数据由于有两份，不受影响。

打开这个虚拟机，拷贝文件，均正常。说明拔盘操作并不会影响 到操作系统的正常使用。

由于磁盘上配置了RAID0，将磁盘再插回去的时候，需要到RAID控制器配置界面重新连接。如果插回去的磁盘是新的磁盘，那么需要重建RAID0（重新连接和重新配置RAID0的步骤，也可以通过StorCLI工具完成，从而避免重启服务器）。而支持直通模式的RAID卡就不会存在这个问题。

（2） 服务器断电测试

将一台服务器断电（拔电源线）以后，这台服务器上所有磁盘组均不能访问：

同样，对于FTT=1的虚拟机，能够正常操作，进行I/O访问。

将服务器加电以后，需要在VC上重新连接之前断电的ESXi。需要注意的是，如果过了5分钟（默认60分钟）磁盘和磁盘组如果不能自动识别，有可能需要将由已经失效的磁盘组删除：

重新声明磁盘后，磁盘组自动重新创建，再过5分钟，数据开始重建。