SDS那么火，你家有没有？

近两年，SDS挺火。做SDS的厂商也很多，如VMware的vSAN，Nutanix，传统存储厂商EMC也有自己的SDS产品。有调查机构显示，SDS在未来将超过传统存储，看起来SDS的前景还是光明的。

既然软件定义存储这么火，红帽有没有？结果当然是有。不仅有，而且有两个。一个是Gluster，一个是Ceph。实际上，gluster作为开源的SDS解决方案，在很多行业都有实际应用的案例，如HPC、广电行业等。而Ceph作为这几年挺火的一个开源项目，适合与OpenStack相结合。

Gluster在2011年被红帽收购，随后开源；Ceph2014年被红帽收购，随后也开源。因此有朋友可能质疑红帽会用Ceph替代Gluster，其实不是这样。Gluster与Ceph的特性不同，适用场景也不同。Gluster可以被认为是基于开源软件的分布式NAS，可以为物理机/虚拟机/容器提供存储空间，而ceph的对象存储和块设备功能则更适合与OpenStack对接。

Gluster作为分布式的SDS解决方案，集群节点数最多可到数千，其总容量在PT级。Gluster提供多种连接方式，Samba、NFS、FUSE等，linux原生支持FUSE。Gluster作为存储集群。利用多台X86服务器的本地文件系统，通过服务器之间的以太网络，组成统一对外命名空间（说接地气点就是一个统一mount点，方便用户或应用访问）。本地文件系统类型可以是ext4或者xfs等。文件系统可以位于一整块本地磁盘/一个分区、本地磁盘组成的Lun/一个分区。而服务器这个文件系统（当然是被gluster使用的），我们叫它为BRICK.

谈到SDS就不能不提到数据平面和控制平面两个层次。数据平面已经介绍。而控制平面，目前gluster能够创建的volume基本类型可以条带化、复制卷、分布式卷、以及纠删码四种。除此之外，还可以进行两两组合，如条带化-复制卷（如果数据有两份，则类似于传统存储的RAID0+1）等。

下面我对部分类型进行说明。

分布式卷，说简单点，就是把各个服务器的BRICK空间拼起来，存数据的时候顺序存放。

复制卷就是对数据做副本，数据的各个副本存放于不同的brick上：

Two-way Distributed Replicated Volumes,就是复制-分布巻。两个卷都是复制卷，各对应两个brick，然后两个卷的空间拼接起来，对外提供空间。数据存放的时候，在拼接卷上顺序存放。

Dispersed卷基于erasure coding（EC）技术。也就是纠删码技术。我们知道在物理存储里，Raid5，raid6都是有校验码的，它们的好处是省空间。

本着“少说教，多上干货”的原则。笔者从头安装配置了一遍Gluster，其配置很简单，方便。虽然使用命令行，但命令行也十分友好。那么gluster配置有多方便呢？“6条命令卷配好，8条命令卷可用（被客户端）”。

红帽gluster安装有两种方式：1.自行安装linux操作系统，然后通过yum方式在线安装gluster。2.直接使用gluster的iso，里面包含linux操作系统和gluster软件。笔者采用的是第二种方法。

rhgs-3.1-u3-rhel-7-x86_64-dvd-1大小为891M。它是一个包含gluster的精简linux系统。

iso的安装和我们装esxi的方式一样。将iso放到u盘里引导服务器启动。如果是个人实验环境，也可以挂载到虚拟机的虚拟光驱里。

从光盘启动：

选择安装软件，都选上即可。

过5分钟左右，系统就安装完了。

接下来，就是配置gluster的步骤，一共是是六步：

步骤1：配置集群节点的解析。我的实验环境的gluster节点有3个。

步骤2：启动gluster服务：

步骤3：创建brick。这里我们需要注意，brick是一个创建好的文件系统路径。它可以是一个独立的文件系统，也可以是一个文件系统的一个目录。但我们推荐用独立的文件系统。而这个文件系统通常在本地盘的一个分区上。由于试验环境资源有限，笔者在已有文件系统中创建一个目录，因此这个brick相当于使用目录所在的文件系统，这在生产上并不推荐。

步骤4：添加节点到集群：

步骤5：创建卷：

我们看到，这个卷是一个复制卷，有两份数据。分别存放于gnode2和gnode3的本地brick中（/davidwei）。

步骤6：启动卷

到这里，服务器端的gluster卷已经配置好。接下来我们在client挂载gluster的卷。

步骤7：首先在客户端操作系统中安装gluster的客户端fuse模块：

步骤8：mount卷:

至此，客户端已经能够看到并使用gluster卷了。

Gluster除了给物理机操作系统使用之外，还可以为虚拟化环境的hypervisor提供共享存储。（类似vSAN为esxi提供datastore）。

在之前的文章中，笔者提到过红帽的KVM虚拟化软件RHEV。RHEV连接存储有两种方案，接SAN存储或者接Gluster。如果应用时基于大量小文件的随机读写，那么建议对接SAN存储。如果是大文件顺序或者随机读写，那么建议使用gluster方案。

RHEV与gluster的对接也很方便：

登录到RHEV-M上，创建存储域，创建的时候，类型选择GlusterFS。

路径指定gluster节点名和逻辑卷名：

过几十秒，就可以看到gluster的lv1已经被rhev创建成了一个datastore，可以供不同的hypervisor之间做共享存储，支持虚拟机的vmotion。

总结：

至此，gluster的基本配置和与RHEV对接就介绍完了。后续笔者会分享更多的内容。

最后，笔者放几张图，展示一下gluster比较适用的几个场景，诸位可以作为参考。