Rook Operator 源码分析(1) - osd 启动的流程
原创Rook Operator 源码分析(1) - osd 启动的流程
原创
阅读本文可能需要有手动部署 Ceph 集群的经验。
Rook 本身很复杂，包含很多 Controller，而 Rook 的复杂不仅体现在这里，并且 Ceph 也非常复杂，在部署和运维上有很多需要注意的地方。本文主要剖析 Rook 启动 osd 的流程，如果有部署过 Ceph 的经验，应该知道加入 osd 大概有两个步骤，1是先 prepare，也就是检查节点上的一些设备是否符合安装 osd，2是激活，也就是 activate。这个过程在 Rook 里也同样需要。
下面是部署完毕后的 Operator 和 osd 相关的 pod 的情况，测试条件下，部署了 3 个 osd，每个节点有 11 块盘。
# kubectl get pod -n rook-ceph
NAME READY STATUS RESTARTS AGE
rook-ceph-operator-7658565d97-ptw5n 1/1 Running 0 20h
rook-ceph-osd-0-78b77dc8d7-xbxhz 1/1 Running 0 20h
rook-ceph-osd-1-b59bcd696-pz9ml 1/1 Running 0 20h
rook-ceph-osd-10-5df9b68f95-lfpnd 1/1 Running 0 20h
rook-ceph-osd-11-5cf6b4bcc5-9cllt 1/1 Running 0 20h
rook-ceph-osd-12-f9f8cb486-4sdts 1/1 Running 0 20h
rook-ceph-osd-13-778bdd8db8-qn6t8 1/1 Running 0 20h
rook-ceph-osd-14-86bc4cd79f-svv92 1/1 Running 0 20h
rook-ceph-osd-15-bd699f59d-txmbx 1/1 Running 0 20h
rook-ceph-osd-16-c68c76f8f-bgl7l 1/1 Running 0 20h
rook-ceph-osd-17-544f7bcf47-xq7dn 1/1 Running 0 20h
rook-ceph-osd-18-6f75c97cdd-lw8xl 1/1 Running 0 20h
rook-ceph-osd-19-99f8f8c6f-7drdz 1/1 Running 0 20h
rook-ceph-osd-2-864c77cc6f-zctcr 1/1 Running 0 20h
rook-ceph-osd-20-7b76984897-g29zj 1/1 Running 0 20h
rook-ceph-osd-21-545fd69888-sbfhl 1/1 Running 0 20h
rook-ceph-osd-22-579897959d-5bff6 1/1 Running 0 20h
rook-ceph-osd-23-57555ffd8d-2jhwt 1/1 Running 0 20h
rook-ceph-osd-24-74457df8fd-vrbnt 1/1 Running 0 20h
rook-ceph-osd-25-799f5bc7d5-sdktc 1/1 Running 0 20h
rook-ceph-osd-26-5c7fb9dc6c-8vrg9 1/1 Running 0 20h
rook-ceph-osd-27-74ff56f958-ndjlx 1/1 Running 0 20h
rook-ceph-osd-28-564dc76999-fzf28 1/1 Running 0 20h
rook-ceph-osd-29-56dd458d4c-76hm6 1/1 Running 0 20h
rook-ceph-osd-3-74d7b78fdf-jxll6 1/1 Running 0 20h
rook-ceph-osd-30-86bf9b4b86-9bxlg 1/1 Running 0 20h
rook-ceph-osd-31-cb6f96589-29pkb 1/1 Running 0 20h
rook-ceph-osd-32-6687876667-6zt6g 1/1 Running 0 20h
rook-ceph-osd-4-c7766fb54-lfcbp 1/1 Running 0 20h
rook-ceph-osd-5-79f8c8f87c-pk85b 1/1 Running 0 20h
rook-ceph-osd-6-88cb5ffd7-h59cl 1/1 Running 0 20h
rook-ceph-osd-7-65697c96-xcgtt 1/1 Running 0 20h
rook-ceph-osd-8-868475d68b-vk5sl 1/1 Running 0 20h
rook-ceph-osd-9-5bf449b4c9-75qwc 1/1 Running 0 20h
rook-ceph-osd-prepare-9.51.1.105-xp2cn 0/1 Completed 0 152m
rook-ceph-osd-prepare-9.51.1.107-4lgqx 0/1 Completed 0 152m
rook-ceph-osd-prepare-9.51.2.164-hqj2f 0/1 Completed 0 152m
rook-discover-7m26q 1/1 Running 0 20h
rook-discover-cxcbw 1/1 Running 0 20h
rook-discover-slncz 1/1 Running 0 20hRook 代码结构是比较清晰的，关于 osd 的代码可以从 pkg/operator/ceph/cluster/osd 找到。
现在都用ceph-volume来安装ceph集群了，ceph-deploy已经不维护了。不用ceph-volume就用ceph本来的命令。
由于有一个 osd prepare 的过程，在 Rook 里是通过 init-container 来运行一个脚本来实现的。
关于手动部署，一定要看看 ceph 的官方文档 。
只有当状态为 completed 的时候才会真正的去启动 osd。
osd 的部署就是通过 lsblk、udevadm 这些命令来做检查的，下面的命令即使 Rook 里用到的命令，在节点上执行一次看看结果，Rook 会根据一些条件来筛选合适的设备来启动 osd。
lsblk --all --noheadings --list --output KNAME
lsblk /dev/sdc --bytes --nodeps --pairs --paths --output SIZE,ROTA,TYPE,PKNAME,NAME,KNAME
udevadm info --query=property /dev/sdc
通过下面的命令，我们在 osd 的节点上运行一下，ceph-volume 是用 python 写的，基本上就是通过一些磁盘、设备等命令来检查节点上的设备。如果 osd prepare 之后没有启动真正的 osd pod 的话，就需要查一下 osd prepare pod 的日志了，或者看一下 local-device 开头的 ConfigMap，里面会有执行 ceph-volume 的结果，下图的结果明显就是设备因为某些原因被拒绝了，具体尅看 rejected_resons 的结果。
ceph-volume inventory --format json
上面的代码走读比较麻烦，跳转来跳转去，下面是我画的一个图，可以参考这个图来理解 Rook 是如何启动 osd 的。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。