Openstack 之使用外部ceph存储

继上篇《Ceph 之 块设备、文件系统、对象存储的使用》,可以独立于openstack单独部署一套ceph集群,给openstack使用,这样openstack本身部署的时候不要启用ceph,在使用块设备的相关组建上配置使用外部ceph集群,可以有更灵活的架构选择,比如虚拟机nova块设备使用一个快速固态硬盘存储池,cinder-backup卷备份使用慢速硬盘存储池,这样对隔离故障域也很有好处。本次实验使用如下环境:

ceph集群环境:

系统centos7.4

ceph版本 ceph version 10.2.10

测试服务器为kvm虚拟机(openstack虚拟机)

ceph集群服务器分配如下:

ceph每个节点在原来系统盘的基础上增加2块osd盘/dev/vdb 、/dev/vdc,集群共有6个进程,3个进程。管理节点用作执行命令,使用ceph-1节点充当。

Openstack集群环境:

系统centos7.3

Openstack版本 Ocata 4.0.2.1

Openstack集群服务器分配如下:

节点control01-control03作为ceph集群的使用者(client),同一个局域网。

操作思路:

首先找到Opesntack官网中关于使用Kolla部署外部ceph的操作方法:

https://docs.openstack.org/kolla-ansible/latest/reference/external-ceph-guide.html#requirements

主要的思路是:

1、在ceph集群中创建相应的pool:

a、创建rbd块设备的pool池“vms”作为nova虚拟机使用的存储池;

b、创建rbd块设备的pool池“images” 作为glance镜像的存储池;

c、创建rbd块设备的pool池“volumes” 作为cinder的存储池;

d、创建rbd块设备的pool池“backups” 作为cinder卷备份的存储池;

2、修改kolla全局配置文件globals.yml,关闭openstack自身的ceph存储,打开nova、glance、cinder、cinder-backup等组件使用ceph的开关;

3、配置外部ceph,使用kolla的合并配置特性,对相应的组件的ceph存储pool池进行配置;

4、使用kolla-ansible deploy重新部署;

操作步骤:

1、在ceph集群中创建相应的pool:

ceph osd pool create images 128

ceph osd pool create volumes 128

ceph osd pool create backups 128

ceph osd pool create vms 128

2、在ceph集群中创建nova、glance、cinder、cinder-backup等组件使用ceph的用户并生产keyring文件,在ceph-1服务器中执行:

cd /etc/ceph/

ceph auth get-or-create client.cinder mon 'allow r' osd 'allow object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rx pool=images' -o ceph.client.cinder.keyring

ceph auth get-or-create client.glance mon 'allow r' osd 'allow object_prefix rbd_children, allow rwx pool=images' -o ceph.client.glance.keyring

ceph auth get-or-create client.cinder-backup mon 'allow r' osd 'allow object_prefix rbd_children, allow rwx pool=backups, allow rwx pool=volumes' -o ceph.client.cinder-backup.keyring

ceph auth get-or-create client.nova mon 'allow r' osd 'allow object_prefix rbd_children, allow rwx pool=vms, allow rwx pool=volumes, allow rx pool=images' -o ceph.client.nova.keyring

//小提示:如果有参考系统,比如其他正常运行的平台,可以使用ceph auth get 进行查询,可以比较确切的指导具体的参数。另外,如果上面的参数需要修改,只需要修改相关参数之后重新执行即可。

拷贝ceph-1上/etc/ceph 目录下的文件ceph.conf 和 ceph.client.glance.keyring 文件到/etc/kolla/config/glance/目录下,kolla在部署的时候会将这个目录下ceph.*拷贝到对应容器的/etc/ceph/目录下。

scp /etc/ceph/ control01://etc/kolla/config/glance/

拷贝ceph-1上/etc/ceph 目录下的文件ceph.conf 和 ceph.client.cinder.keyring 文件到/etc/kolla/config/cinder/cinder-volume/以及/etc/kolla/config/cinder/cinder-backup/目录下,kolla在部署的时候会将这个目录下ceph.*拷贝到对应容器的/etc/ceph/目录下。

scp /etc/ceph/ control01://etc/kolla/config/cinder/cinder-volume/

scp /etc/ceph/ control01://etc/kolla/config/cinder/cinder-backup/

拷贝ceph-1上/etc/ceph 目录下的文件 ceph.client.cinder-backup.keyring 文件到/etc/kolla/config/cinder/cinder-backup目录下,kolla在部署的时候会将这个目录下ceph.*拷贝到对应容器的/etc/ceph/目录下。

scp /etc/ceph/ceph.client.cinder-backup.keyring control01://etc/kolla/config/cinder/cinder-backup/

拷贝ceph-1上/etc/ceph 目录下的文件ceph.conf 和 ceph.client.nova.keyring文件以及ceph.client.cinder.keyring到/etc/kolla/config/nova/目录下,kolla在部署的时候会将这个目录下ceph.*拷贝到对应容器的/etc/ceph/目录下。

scp /etc/ceph/ control01://etc/kolla/config/nova/

//注意,官网上没有要求拷贝ceph.client.cinder.keyring 这个文件,但是在部署的过程中要求这个文件。

3、修改kolla全局配置文件/etc/kolla/globals.yml,关闭openstack自身的ceph存储,打开nova、glance、cinder、cinder-backup等组件使用ceph的开关;

enable_ceph: "no" //关闭openstack自身的ceph存储

glance_backend_ceph: "yes"

cinder_backend_ceph: "yes"

nova_backend_ceph: "yes"

4、配置外部ceph,使用kolla的合并配置特性,对相应的组件的ceph存储pool池进行配置;

a、glance的配置,增加文件/etc/kolla/config/glance/glance-api.conf,内容如下:

[glance_store]

stores = rbd

default_store = rbd

rbd_store_pool = images

rbd_store_user = glance //这是第2步创建的用户glance

rbd_store_ceph_conf = /etc/ceph/ceph.conf

b、cinder的配置,增加文件/etc/kolla/config/cinder/cinder-volume.conf,内容如下:

[DEFAULT]

enabled_backends=rbd-1

[rbd-1]

rbd_ceph_conf=/etc/ceph/ceph.conf

rbd_user=cinder //这是第2步创建的cinder用户

backend_host=rbd:volumes

rbd_pool=volumes

volume_backend_name=rbd-1

volume_driver=cinder.volume.drivers.rbd.RBDDriver

rbd_secret_uuid=02d41563-5fe7-442a-ada5-3bf508e5e8b1 //注意:cinder_rbd_secret_uuid 可以在 /etc/kolla/passwords.yml 文件中找到。

c、cinder-backup的配置,增加文件/etc/kolla/config/cinder/cinder-backup.conf,内容如下:

[DEFAULT]

backup_ceph_conf=/etc/ceph/ceph.conf

backup_ceph_user=cinder-backup //这是第2步创建的cinder-backup用户

backup_ceph_chunk_size = 134217728

backup_ceph_pool=backups

backup_driver = cinder.backup.drivers.ceph

backup_ceph_stripe_unit = 0

backup_ceph_stripe_count = 0

restore_discard_excess_bytes = true

d、nova的配置,增加文件/etc/kolla/config/nova/nova-compute.conf,内容如下:

[libvirt]

images_rbd_pool=vms

images_type=rbd

images_rbd_ceph_conf=/etc/ceph/ceph.conf

rbd_user=nova //这是第2步创建的nova用户

disk_cachemodes = network=writeback //官网上没有这个参数

hw_disk_discard = unmap //官网上没有这个参数

rbd_secret_uuid = 02d41563-5fe7-442a-ada5-3bf508e5e8b1 //官网上没有这个参数

e、如果ceph集群部署的时候主机解析不是使用IP而是用主机名,需要修改openstack集群节点/etc/hosts文件,增加对ceph集群主机名的解析,例如:

control01、control02、control03节点上:

# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.1.121 control01

192.168.1.122 control02

192.168.1.123 control03

192.168.1.161 ceph-1

192.168.1.162 ceph-2

192.168.1.163 ceph-3

4、使用kolla-ansible deploy重新部署;

kolla-ansibel deploy -i

// 其中 用实际环境中的inventory文件替代,比如multiple或者all-in-one

总结及建议:

建议在设计之初就确定使用外部ceph存储,中途调整存储还是存在很大风险,并且还涉及到相关的镜像、虚拟机、卷的迁移。

根据官网进行操作会碰到一些坑,并且官网对于这一块描述的不是很详细,必须动手实验填坑。

对于openstack使用外部ceph对象存储这一块官网上没有介绍,直接使用内部ceph是可以很方便启用这个功能的。

上面验证完成之后,完全可以应用在生产环境上面,比如创建一个SSD固态硬盘存储池作为vms pool 给虚拟机的系统盘使用,创建一个普通SAS硬盘存储池作为volumes pool 给虚拟机的卷使用,images pool 给镜像使用,创建一个低成本慢速大容量SATA盘存储池作为backups pool 给cinder-backup备份卷使用。

对于在一台ceph集群物理服务器上同时有SSD固态硬盘、SAS盘、SATA盘,需要根据不同类型的盘划分pool的方法,可以在创建OSD的时候进行ruleset的归类,当创建pool的时候,指定ruleset参数就能够使用不同类型盘的目的了。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180611G0Z5LB00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券