OpenStack（Pike）连接 Ceph RBD
OpenStack（Pike）连接 Ceph RBD
0. 环境信息
请注意，本文档假设 Ceph 和 OpenStack 环境已经可用，在此基础上，配置 OpenStack 使用 Ceph RBD 作为镜像和卷的后端存储。
Ceph + OpenStack
软件版本
- OpenStack 版本: Pike release
- Ceph 版本：12.2.7 luminous
- 虚拟机系统：Ubuntu 16.04
虚拟机信息：
- 一共用到六台虚拟机，三台用作 OpenStack 的控制节点，三台用作 OpenStack 的计算节点。
- 六台虚拟机信息：
- hostname：controller-1，IP：10.0.0.1
- hostname：controller-2，IP：10.0.0.2
- hostname：controller-3，IP：10.0.0.3
- hostname：compute-1，IP：10.0.0.4
- hostname：compute-2，IP：10.0.0.5
- hostname：compute-3，IP：10.0.0.6
1. 升级内核
要升级内核的原因是 Ubuntu 16.04 使用的内核版本是 4.4，而 ceph RBD image 默认打开的功能包括：layering, exclusive-lock, object-map, fast-diff, deep-flatten，除了 layering，其他 linux kernel 4.4 均不支持，但也不是必须通过升级内核来解决该问题，也可以修改 RBD 参数 rbd_default_features，关闭不支持的特性来解决：sudo ceph daemon mon.<monitor-hostname> config set rbd_default_features 1 (该命令需要在 Ceph 的控制节点上执行)
接下来讲一下升级 Linux kernel 的方法，Linux kernel 全部可用版本的下载地址为： http://kernel.ubuntu.com/~kernel-ppa/mainline/
本文选用了 4.15 最新的分支：v4.15.18，需要下载两个文件：
- linux-headers-4.15.18-041518_4.15.18-041518.201804190330_all.deb
- linux-image-4.15.18-041518-generic_4.15.18-041518.201804190330_amd64.deb
$ wget http://kernel.ubuntu.com/~kernel-ppa/mainline/v4.15.18/linux-headers-4.15.18-041518_4.15.18-041518.201804190330_all.deb
$ wget http://kernel.ubuntu.com/~kernel-ppa/mainline/v4.15.18/linux-image-4.15.18-041518-generic_4.15.18-041518.201804190330_amd64.deb
$ sudo dpkg -i linux-headers-4.15.18-041518_4.15.18-041518.201804190330_all.deb
$ sudo dpkg -i linux-image-4.15.18-041518-generic_4.15.18-041518.201804190330_amd64.deb安装完成后需要重启服务器才能生效
$ sudo reboot重新启动后查询 kernel 版本，新安装的 kernel 已经生效
$ sudo uname -r
4.15.18-041518-generic2. Ceph 的准备工作
首先要为 glance 和 cinder 先创建好 pool，后面的数字是 pool 中包含的 pg 数量，pg 数量可以根据需求修改，大的原则是里面存储的数据越多，pg 数量也要越大。
$ ceph osd pool create volumes 128
$ ceph osd pool create images 128
$ ceph osd pool create backups 128
$ ceph osd pool create vms 128然后初始化 pool，将其应用类型设置为 RBD：
$ rbd pool init volumes
$ rbd pool init images
$ rbd pool init backups
$ rbd pool init vms接下来为 glance 和 cinder 生成连接 ceph 所用的 密钥：
$ ceph auth get-or-create client.glance mon 'profile rbd' osd 'profile rbd pool=images'
$ ceph auth get-or-create client.cinder mon 'profile rbd' osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'
$ ceph auth get-or-create client.cinder-backup mon 'profile rbd' osd 'profile rbd pool=backups'最后全部六台 OpenStack 服务器都需要 ceph 的配置文件，需要注意，下面这条命令需要在 OpenStack 服务器上需要能够无需密码即可以 sudo 权限执行命令，如果不满足这个条件的话，手动 ssh 登录，再填内容吧。
$ ssh {your-openstack-server} sudo tee /etc/ceph/ceph.conf </etc/ceph/ceph.conf3. Glance
首先在安装 glance-api 的 OpenStack 服务器上安装 RBD python 客户端：
$ sudo apt-get install python-rbdGlance 要连接 Ceph 就需要 Ceph 的密钥，所以 keyring 文件也必不可少，并且需要修改文件的 owner 改为 glance。
$ ceph auth get-or-create client.glance | ssh {your-glance-api-server} sudo tee /etc/ceph/ceph.client.glance.keyring
$ ssh {your-glance-api-server} sudo chown glance:glance /etc/ceph/ceph.client.glance.keyringCeph 相关的配置已经准备就绪了，接下来需要修改 glance 的配置文件。
$ sudo vim /etc/glance/glance-api.conf
[DEFAULT]
show_image_direct_url = True
hw_scsi_model=virtio-scsi
hw_disk_bus=scsi
hw_qemu_guest_agent=yes
os_require_quiesce=yes
......
[glance_store]
stores = rbd
default_store = rbd
rbd_store_pool = images
rbd_store_user = glance
rbd_store_ceph_conf = /etc/ceph/ceph.conf
rbd_store_chunk_size = 8
[paste_deploy]
flavor = keystone修改完成后，重启 glance-api 服务就完成了镜像相关的配置。
$ sudo service openstack-glance-api restart4. 计算节点
全部三台 compute 节点，都需要安装 ceph-common，另外要注意，ceph 要指定版本，下面命令里的头两句就是通过环境变量指定安装 luminous 版本。
$ CEPH_DEPLOY_REPO_URL=http://mirrors.163.com/ceph/debian-luminous
$ CEPH_DEPLOY_GPG_URL=http://mirrors.163.com/ceph/keys/release.asc
$ sudo apt update
$ sudo apt-get install ceph-common接下来因为 libvirt 需要连接 RBD 来挂载远程块存储，所以 libvirt 需要 RBD 的密钥，具体做法如下，
# 在 Ceph 节点上执行，并将输出结果写入到计算节点的任意目录下的 client.cinder.key 文件中，作为暂存。
$ ceph auth get-key client.cinder | ssh {your-compute-node} tee client.cinder.key
# 产生 UUID
$ uuidgen
457eb676-33da-42ec-9a8c-9293d545c337
# 生成 libvert 注入文件
$ cat > secret.xml <<EOF
<secret ephemeral='no' private='no'>
<uuid>457eb676-33da-42ec-9a8c-9293d545c337</uuid>
<usage type='ceph'>
<name>client.cinder secret</name>
</usage>
</secret>
EOF
# 注入 secret.xml 文件
$ sudo virsh secret-define --file secret.xml
Secret 457eb676-33da-42ec-9a8c-9293d545c337 created
# 关联注入的 secret 和 ceph 密钥，并删除暂存的 client.cinder.key 文件。
$ sudo virsh secret-set-value --secret 457eb676-33da-42ec-9a8c-9293d545c337 --base64 $(cat client.cinder.key) && rm client.cinder.key secret.xml修改 /etc/ceph/ceph.conf 文件：
$ vim /etc/ceph/ceph.conf
...
[client]
rbd cache = true
rbd cache writethrough until flush = true
admin socket = /var/run/ceph/guests/$cluster-$type.$id.$pid.$cctid.asok
log file = /var/log/qemu/qemu-guest-$pid.log
rbd concurrent management ops = 20创建虚拟机挂载磁盘的日志输出目录，并修改权限。
$ sudo mkdir -p /var/run/ceph/guests/ /var/log/qemu/
$ sudo chown libvirt-qemu:kvm /var/run/ceph/guests /var/log/qemu/重启 nova compute 服务。
$ sudo systemctl restart openstack-nova-compute5. Cinder
最后完成块存储的配置，首先也要和计算节点一样，在所有运行 cinder 的节点上安装 ceph-common，在本文中就是全部三台 controller 节点。
$ CEPH_DEPLOY_REPO_URL=http://mirrors.163.com/ceph/debian-luminous
$ CEPH_DEPLOY_GPG_URL=http://mirrors.163.com/ceph/keys/release.asc
$ sudo apt update
$ sudo apt-get install ceph-common修改 cinder 配置文件： rbd_user 要使用之前在 Ceph 上创建的账户，rbd_secret_uuid 要使用之前在 libvirt 中添加的 secret 的 UUID。
$ vim /etc/cinder/cinder.conf
[DEFAULT]
...
enabled_backends = ceph
glance_api_version = 2
...
[ceph]
volume_driver = cinder.volume.drivers.rbd.RBDDriver
volume_backend_name = ceph
rbd_pool = volumes
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4
rados_connect_timeout = -1
rbd_user = cinder
rbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337全部搞好后，重启 cinder 相关服务。
$ sudo service openstack-cinder-volume restart
$ sudo service openstack-cinder-backup restart