CentOS6下RHCS集群中利用iSCSI共享存储配置cLVM+GFS

RHCS（Red Hat Cluster Suite）：能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合。 LUCI：是一个基于web的集群配置方式，通过luci可以轻松的搭建一个功能强大的集群系统。 CLVM：Cluster逻辑卷管理，是LVM的扩展，这种扩展允许cluster中的机器使用LVM来管理共享存储。 CMAN：分布式集群管理器。 GFS(Global File System)共享文件系统：以本地文件系统的形式出现。多个Linux机器通过网络共享存储设备，每一台机器都可以将网络共享磁盘看作是本地磁盘，如果某台机器对某个文件执行了写操作，则后来访问此文件的机器就会读到写以后的结果

在之前实验的基础上，结合如下拓扑图，在RHCS集群中利用iSCSI共享存储配置cLVM+GFS参考之前的文章

CentOS6中RHCS集群的简单实践+CentOS6下配置基于CHAP认证的iSCSI网络存储服务

1）具体测试的环境如上图所示

1)10.20.10.140 node1.walkingcloud.cn node1

2)10.20.10.141 node2.walkingcloud.cn node2

3)10.20.10.142 node3.walkingcloud.cn node3

4) 10.20.10.139 storage.walkingcloud.cn storage

10.20.10.139iscsi服务端已经配置好iscsi-target，LUN大小约为43G，且各个节点也已经全部自动登录target

iscsiadm -m discovery -t sendtargets -p 10.20.10.139

iscsiadm -m node -T iqn.2019-10.cn.walkingcloud:storage.disk -p 10.20.10.139 -l

2)cLVM和GFS相关工具包默认已经在安装cman rgmanager RHCS集群套件时已经安装上了

3）现在先在节点node1上配置cLVM

lvmconf --enable-cluster

ssh node2 "lvmconf --enable-cluster"

ssh node3 "lvmconf --enable-cluster"

4）对iscsi网络存储磁盘进行分区

5)进行LVM的pv vg lv创建操作

pvcreate /dev/sdb1

vgcreate VG_GFS /dev/sdb1

lvcreate -L 10G -n lv_gfs_data VG_GFS

如上图所示，创建lv时有发生报错，重启各个节点的clvmd服务解决

service clvmd restart

6)node1上创建GFS文件系统，挂载并测试读写

mkfs.gfs2 -j 2 -p lock_dlm -t walkingcloud:locktable1 /dev/mapper/VG_GFS-lv_gfs_data

mkdir /GFS_DATA

mount -t gfs2 /dev/mapper/VG_GFS-lv_gfs_data /GFS_DATA/

7)其它节点上只需要挂载即可

8）由于创建GFS文件系统时的-j 数量为2，在节点node3上挂载提示数量不足

这时可以在node1上增加GFS文件系统节点数量

gfs2_jadd -j 1 /dev/mapper/VG_GFS-lv_gfs_data

然后回到node3重新挂载即可，这样三个节点就可以对这个LVM 逻辑卷进行共享读写操作了

9)扩展cLVM的逻辑卷大小

vgdisplay VG_GFS

lvextend -L +8G /dev/mapper/VG_GFS-lv_gfs_data

gfs2_grow /dev/mapper/VG_GFS-lv_gfs_data

可以看到node2,node3上的lvm卷也自动变为18G了