ceph设计原理与实现(CRUSH算法)

1、ceph架构

image.png

2、CRUSH基于哈希的数据分布算法

image.png

3、straw算法straw2算法

image.png

straw2在新osd加入时不会引起其他osd的迁移 4、CRUSH计算的输入为X, cluster map ,placement rule 5、cluster map: device 磁盘 /主机 bucket /数据中心 root

image.png

image.png

image.png

6、placement rule:

take/select :firstn indep /emit

7、选择Jewel版本之后

8、针对CRUSH算法的可调整配置，不建议更改

image.png

9、CRUSH配置的模板，JEWEL版本？

image.png

10、crush map

获取:ceph osd getcrushmap -o file

手动生成crush map:27个osd，3个host，rack 3,root 0

image.png

将上述输出的文件反编译成可读文件：crushtool -d file -o file.txt

查看:vi file.txt

placement rule参数解析：

ruleset 不同pool不同编号

type : replicated/erasure

min_size/max_size

step:take /chooseleaf /emit

step chooseleaf firstn 0 type host:chooseleaf容灾模式，firstn/ndep，容灾级别：type host/rack

take 可以限制选择root/rack1 2 3 /bucket

编译：crushtool -c file.txt -o file

注入集群：ceph osd setcrushmap -i file

测试：crushtool -i mycrushmap --test --mix-x 9 --num-rep 3 --ruleset 0 --show_mappngs

12、查看空间利用率：ceph osd df tree

调整osd的权重：ceph osd reweight osdid reweight

image.png

13、批量调整reweight

ceph osd reweight-by-utilization 105 .2 4 --no-increasing