Ceph：关于Ceph 集群中数据分布和容灾理论的一些笔记

山河已无恙

发布于 2023-08-21 14:42:44

2510

发布于 2023-08-21 14:42:44

文章被收录于专栏：山河已无恙山河已无恙

1写在前面

准备考试，整理 Ceph 相关笔记
博文内容涉及,Ceph 集群中数据如何分布以及不同的容灾池介绍
理解不足小伙伴帮忙指正

对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》

Part1Ceph 中的数据分布和整理

2使用池对存储进行分区

Ceph 中的 pool 可以看作是传统文件系统中的目录，但它们不仅仅是简单的目录。可以这样讲，如果要在 ceph 中存储东西，那么最先需要确认的就是要存储在那个池里，池最主要区别是，保护容灾类型不同，有复制池和纠删码池两种

在 Ceph 中 OSD 保护并持续检查集群中存储的数据的完整性， Pools(池) 是 Ceph 存储集群的逻辑分区，用于将对象存储在共同的名称标签下。

Ceph 给每个 池 分配 特定数量 的 哈希存储桶，名为放置组 (PG)，将对象分组到一起进行存储。每个池具有下列可调整属性：

不变 ID
名称
在 OSD 之间分布对象的 PG 数量
CRUSH 规则，用于确定这个池的 PG 映射
保护类型冗余(复制或纠删代码)
与保护类型相关的参数
影响集群行为的各种标志

分配给每个池的放置组(PG)数量可以独立配置，以匹配数据的类型以及池所需要的访问权限

CRUSH 算法用于确定托管池数据的OSD，每个池分配一条 CRUSH 规则作为其放置策略，CRUSH 规则决定哪些 OSD 存储分配了该规则的所有池的数据

放置组 PG

放置组 (PG) 将一系列对象聚合到一个哈希存储桶或组中。Ceph 将每个 PG 映射到一组 OSD 。

一个对象属于一个 PG，属于同一PG 的所有对象返回相同的散列结果

根据对象名称的散列将对象映射至其 PG。由 CRUSH 算法将 PG 放置到OSD 这种放置策略也被称为 CRUSH 放置规则，放置规则标识在 CRUSH 拓扑中选定的故障域，以接收各个副本或纠删码区块

当客户端将对象写入到池时，它使用池的 CRUSH 放置规则来确定对象的放置组。

客户端然后使用其集群映射的副本、放置组以及 CRUSH 放置规则来计算对象的副本(或其纠删码区块)应写入到哪些 OSD 中，从而确保数据分布到不同的故障域

当新的 OSD 可供 Ceph 集群使用时，放置组提供的间接层非常重要。在集群中添加或移除 OSD 时，放置组会自动在正常运作的 OSD 之间重新平衡

将对象映射到其关联的 OSD

Ceph 客户端从监控器获取集群映射的最新副本。集群映射向客户端提供有关集群中所有MON、OSD 和 MDS 的信息。它不会向客户端提供对象的位置，客户端必须使用CRUSH 来计算它需要访问的对象位置
当一个对象需要进行存储时，客户端需要根据对象 ID 和存储池名称来计算出该对象所属的 PG ID。为了计算 PG ID，客户端需要将对象 ID 做模运算，得到 PG 数量，然后再将 PG ID 添加到池 ID 的前缀上，以得到完整的 PG ID。

例如，假设某个存储池的名称为 my-pool，其对应的数字 ID 是 1，同时该存储池被分成了 64 个 PG 组。当客户端需要为一个对象计算存储位置时，它首先根据对象的 ID 计算出对象所在的 PG ID（例如是 26），然后将池 ID 的前缀添加进去，得到最终的 PG ID：1.26。这个 PG ID 就代表了对象在 Ceph 存储集群中的存储位置，客户端可以通过该 ID 来访问和管理该对象。