CentOS7.4安装ceph lio iSCSI gateway操作指导

本文作者 / Wenda

关注存储以及周边生态，独立的存储系统生存太艰难，融入生态才体现价值。

1、背 景

我们Ceph作为后端存储时，这里只针对块存储空间的使用进行讨论。

对于块存储空间，Linux用户的使用方法有多种，如：rbd map方式、rbd-nbd map方式、 rbd-fuse方式， 但是对于Windows用户，如何使用呢？--- 答案：通过ISCSI访问。

2、说 明

针对块存储场景，iSCSI gateway的作用：

1) 采用ceph作为后端存储时，通过iSCSI协议为Windows/VMWare/database提供数据存储服务。

2) 采用2个/多个iSCSI gateway，通过iSCSI协议提供HA高可用方案。

如图，这是各种操作系统通过ISCSI访问Ceph块存储空间的架构图。

3、iSCSI gateway节点检查&确认

3.1. 系统需求如下：

iSCSI gateways服务可以与OSD节点融合部署，也可以部署在独立的节点上。

注：官方建议 RHEL/CentOS 7.5; Linux kernel v4.17 or newer

实际采用：

操作系统：CentOS Linux release 7.4.1708 (Core)；

内核版本：3.10.0-693.el7.x86_64；

确认内核选项启用，如下：

3.2. ceph集群版本：

注：官方建议 Ceph Luminous (12.2.x) release or newer

实际采用：Ceph Kraken (11.1.0)

3.3. ceph集群配置：

通过快速检测OSDs 故障、快速检测请求超时，尽量减少iSCSI initiator端业务超时的情况。

建议如下配置：

确认配置：

确认名称为”rbd”的pool存在，如下：

确认支持5个features，如下：

确认支持VAAI性能加速，如下：（如果不支持功能升也能使用）

4、安 装

参照：

http://docs.ceph.com/docs/master/rbd/iscsi-target-cli-manual-install/

4.1. iSCSI gateway节点安装依赖包

注：ceph-iscsi-cli 和target tools依赖以下packages：

• libnl3
• kmod-libs
• librbd1
• pyparsing
• python-kmod
• python-pyudev
• python-gobject
• python-urwid
• python-rados
• python-rbd
• python-netaddr
• python-netifaces
• python2-crypto
• python-requests
• python-flask
• pyOpenSSL 即：yum install -y libnl3  kmod-libs librbd1 pyparsing  python-kmod python-pyudev python-gobject python-urwid python-rados python-rbd python-netaddr python-netifaces python2-crypto python-requests python-flask pyOpenSSL

  注：rtslib-fb依赖pyudev>=0.16.1

4.2. iSCSI gateway节点部署相关服务

4.2.1. 部署tcmu-runner

4.2.2. 部署rtslib-fb

4.2.3. 部署configshell-fb

4.2.4. 部署targetcli-fb

4.2.5. 创建配置文件

4.2.6. 部署ceph-iscsi-config

4.2.7. 部署ceph-iscsi-cli

4.2.8. 检查各个服务状态正常

首先，检查相关服务状态正常：

5、创建&配置iSCSI gateway

5.1. 创建iSCSI target

例如以“iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw”为iqn创建iSCSI target。

5.2. 创建iSCSI gateways

配置地址解析，如下：

其中，”10.10.10.121” 是本节点IP，且该IP用于读/写服务，”wenda-centos7-1801” 是本节点hostname。

例如，要配置2个gateway。

注意：配置/etc/hosts后，需要重启 这3个服务：

注意：在2个gateway节点上，要分别确认这3个服务正常运行。

如下创建2个gateway，提供HA方案：

然后，检查3260端口监听正常：

5.3. 创建iSCSI disk

如下创建RBD Image作为iSCSI 后端disk：

5.4. 创建iSCSI client

创建iSCSI client的目的，就是在iSCSI gateway节点上为iSCSI initiator添加acl授权。

首先登陆iSCSI initiator节点（即iSCSI client端），获取InitiatorName。

然后在gateway节点以“iqn.1994-05.com.redhat:rh7-client”为iqn创建iSCSI client。

5.5. 为iSCSI client配置iSCSI CHAP认证信息

注：建议略过该步骤。

一旦配置CHAP认证信息，则iSCSI连接时必须提供CHAP用户信息。

例如设置client的CHAP用户名为”myiscsiusername”，密码为”myiscsipassword”

5.6. 为iSCSI client添加disk

例如 为iSCSI client添加disk名称为”rbd.disk_1”，该”rbd.disk_1”可在gwcli "ls /disks/"查询。

6、配置iSCSI initiator访问disk

以Linux为例——

6.1. 安装iSCSI initiator工具和multipath工具

6.2. 配置multipath服务

创建默认配置/etc/multipath.conf，并enable multipathd service。

修改配置/etc/multipath.conf，内容如下：

注意：高可用策略不适用ALUA。因为CentOS7.4内核版本的target不支持ALUA属性。

重启multipath服务。

6.3. 为iSCSI initiator配置CHAP信息

如果iSCSI client没有配置CHAP认证信息，则iSCSI initiator端也无需配置CHAP信息。

6.4. Discovery iSCSI target

例如 iSCSI gateway的IP是10.10.10.121

登陆iSCSI initiator端节点，然后执行命令：

6.5. Login iSCSI target

例如target的iqn为iqn.2003-01.com.redhat.iscsi-gw:iscsi-igwww

6.6. 查看扫描出的iSCSI盘

如下在客户服务器上执行命令 ll /dev/disk/by-path/，查看到扫描的iSCSI盘映射为客户服务器块设备为/dev/sda 和/dev/sdb 

6.7. 查看multipath的iSCSI disk（由RBD image映射）

7、附录一

Linux/CentOS 7.4及更旧版本，系统中struct tcmu_dev没有qfull_time_out成员。

【解决方法一】

说明：lun.py中不设置qfull_time_out。

影响：存储异常时，业务可能由于iSCSI设备TCM_LOGICAL_UNIT_COMMUNICATION_FAILURE导致阻塞。

修改：vim ceph-iscsi-config/ceph_iscsi_config/lun.py

注意：修改后重启 rbd-target-gw 服务和 rbd-target-api 服务，就可以正常运行了。

【解决方法二】

说明：系统中struct tcmu_dev增加qfull_time_out成员。

影响：存储异常时，业务由于iSCSI设备被设置SAM_STAT_TASK_SET_FULL，及时返回失败，不阻塞。

内核patch：qfull_timeout : 参照http://www.oscube.cn/blog/page-11/

8、附录二

设置成不支持ALUA。

修改方法：vim ./ceph-iscsi-config/ceph_iscsi_config/gateway.py

注意：修改后重启 rbd-target-gw 服务和 rbd-target-api 服务，就可以正常运行了。

猜你还想看这些内容

● 分分钟get腾讯云TStack技术汇总！

● 小甲陪你一起看Ceph (OSDC | 上篇)

●“你感受过被监控的恐惧吗？”

●OVS BUG撸码回忆录 •上篇

· END ·

点它！