如何在单节点 Ceph 中配置多数据副本

crush.png

在服务器资源不足,或者测试环境下,Ceph 通常只有一个节点,就算有多个服务器组成集群,往往存储服务器也往往只有一台,Ceph 的默认配置下,只能设置单数据备份,也就是说数据只存了一份,如果磁盘坏了,数据就丢了。虽然测试环境数据没那么重要,总保不齐就会有关键数据放在上面,所以还是要想办法在资源有限的条件下实现数据的高可用,另外这也是一个很好的进一步理解 Ceph 概念的好机会,接下来就让我们来看看是如何实现的吧。

1. CRUSH map 规则介绍

为了把这件事说清楚,我们需要了解 CRUSH map 一些具体规则,所以先来看一下默认的 CRUSH map。

$ cat crush-map-decompiled
...
# buckets
host rbd-osd1 {
    id -3       # do not change unnecessarily
    id -4 class hdd     # do not change unnecessarily
    # weight 130.992
    alg straw2
    hash 0  # rjenkins1
    item osd.0 weight 5.458
    item osd.1 weight 5.458
    item osd.2 weight 5.458
    item osd.3 weight 5.458
    item osd.4 weight 5.458
    item osd.5 weight 5.458
    item osd.6 weight 5.458
    item osd.7 weight 5.458
    item osd.8 weight 5.458
    item osd.9 weight 5.458
    item osd.10 weight 5.458
    item osd.11 weight 5.458
    item osd.12 weight 5.458
    item osd.13 weight 5.458
    item osd.14 weight 5.458
    item osd.15 weight 5.458
    item osd.16 weight 5.458
    item osd.17 weight 5.458
    item osd.18 weight 5.458
    item osd.19 weight 5.458
    item osd.20 weight 5.458
    item osd.21 weight 5.458
    item osd.22 weight 5.458
    item osd.23 weight 5.458
}
root default {
    id -1       # do not change unnecessarily
    id -2 class hdd     # do not change unnecessarily
    # weight 130.992
    alg straw2
    hash 0  # rjenkins1
    item rbd-osd1 weight 130.992
}

# rules
rule replicated_rule {
    id 0
    type replicated
    min_size 1
    max_size 10
    step take default
    step chooseleaf firstn 0 type host
    step emit
}

我们可以看到,Ceph 集群中只有一台存储服务器:rbd-osd1,上面有 24 块硬盘。 要实现单存储上多备份,关键就在这行配置上:step chooseleaf firstn 0 type host 这句话的意思是,从选定的 bucket(也就是 host rbd-osd1)中,获取默认个(也就是 osd_pool_default_size 个,这是在 /etc/ceph/ceph.conf 中配置的)叶子节点(也就是 rbd-osd1 中包含的那 24 个 item),叶子节点的类型为 host。 默认配置出问题的地方就是在叶子节点的类型上,osd_pool_default_size 默认值是三,也就是说,需要找三个 host 类型的 bucket,host 对应的就是存储服务器,我们现在只有一个,当然不满足需求了。从 ceph 的状态上也能看出来,所有的 OSD 都因为 OSD 数量不足,处于 active+undersized 状态。

$ ceph -s
...
  data:
    pools:   1 pools, 64 pgs
    objects: 0 objects, 0 bytes
    usage:   25001 MB used, 130 TB / 130 TB avail
    pgs:     64 active+undersized

2. 修改 CRUSH map

了解到问题所在,接下来就动手修改吧,CRUSH map 支持两种修改方式,一种是命令行,优点是单条命令很简单,缺点是不够直观;第二种是手动修改配置文件,优点是所见即所得,缺点是麻烦一点,需要先导出,解码,修改,最后再编码,导入。这里因为修改的内容颇为具体,所以采用第二种方法。

先将 CRUSH map 导出到文件 crush-map 中。

$ ceph osd getcrushmap -o crush-map

然后解码,并输出到文件 crush-map-decompiled 中。

$ crushtool -d crush-map -o crush-map-decompiled

修改 crush-map-decompiled,将 type 改为 osd,即可

$ cat crush-map-decompiled
...
# rules
rule replicated_rule {
    id 0
    type replicated
    min_size 1
    max_size 10
    step take default
    step chooseleaf firstn 0 type osd
    step emit
}

将改好的文件编码到文件 crush-map 中。

$ crushtool -c crush-map-decompiled -o crush-map

最后导入。

$ ceph osd setcrushmap -o crush-map

3. 修改 /etc/ceph/ceph.conf

不过事情没有那么简单,还需要配合 ceph.conf 的修改才行,我们要修改 osd_crush_chooseleaf_type。 这个参数每个取值的意义在 Ceph 的官方文档中,有明确的说明,0 是给单节点的 ceph 集群使用的,而 1 是默认值,所以我们需要修改。

#Choose a reasonable crush leaf type.
#0 for a 1-node cluster.
#1 for a multi node cluster in a single rack
#2 for a multi node, multi chassis cluster with multiple hosts in a chassis
#3 for a multi node cluster with hosts across racks, etc.
osd crush chooseleaf type = {n}

集群是使用 ceph-deploy 来部署的,所以需要修改 ceph-deploy 目录下的文件,然后推送到 ceph 集群中的服务器中:

$ cat ceph.conf
...
osd_crush_chooseleaf_type = 0
...

$ ceph-deploy --overwrite-conf config push rbd-master1 rbd-osd1

4. 动态修改 ceph 配置

至此问题还是没有完全解决,原因是配置文件的变动需要,进程的重启才能生效,不重启有没有办法让改动生效呢?有的,需要使用的 ceph daemon 命令。

sudo ceph daemon mon.rbd-master1 config set osd_pool_default_size 0

5. 参考文档

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯云API

【转】腾讯云 API 3.0实践分享(下)

原文地址:https://cloud.tencent.com/developer/article/1155254

2463
来自专栏安恒网络空间安全讲武堂

护网杯easy laravel ——Web菜鸡的详细复盘学习

复现让我发现了很多读wp以为懂了动手做的时候却想不通的漏掉的知识点(还是太菜orz),也让我对这道题解题逻辑更加理解。所以不要怂,就是干23333!

2443
来自专栏开源FPGA

Isim你不得不知道的技巧(整理)

来源:电子产品世界;   注:本文由NingHeChuan本人多出整理所得,原文章图片不清晰,自己整理配图后重新发表   安装好ISE,系统已经自带了ISim仿...

2906
来自专栏高性能服务器开发

(三)一个服务器程序的架构介绍

本文将介绍我曾经做过的一个项目的服务器架构和服务器编程的一些重要细节。 一、程序运行环境 操作系统:centos 7.0 编译器:gcc/g++ 4.8.3 c...

3995
来自专栏Java架构

详解Proxy代理模式的场景分析

代理模式是一个十分优秀的软件架构模式,许多应用都用到了代理模式。代理模式就是为其他对象提供一种代理以控制对这个对象的访问。在某些情况下,一个对象不合适或者不能直...

2394
来自专栏Seebug漏洞平台

CVE-2017-16943 Exim UAF漏洞分析--后续

作者:Hcamael@知道创宇404实验室 上一篇分析出来后,经过@orange的提点,得知了meh公布的PoC是需要特殊配置才能触发,所以我上一篇分析文章最后...

3266
来自专栏杨建荣的学习笔记

Greenplum集群问题修复案例

我看了下GP Master端,看到负载并不高,当然这是一个初步的检测,如果集群响应缓慢,则很可能是segment节点上出现了延迟。一看则吓一跳,这是一个segm...

1282
来自专栏高性能服务器开发

(三)一个服务器程序的架构介绍

本文将介绍我曾经做过的一个项目的服务器架构和服务器编程的一些重要细节。 一、程序运行环境 操作系统:centos 7.0 编译器:gcc/g++ 4.8.3 c...

3727
来自专栏前端萌媛的成长之路

WebAssembly分享

8695
来自专栏纯洁的微笑

分布式爬虫系统设计、实现与实战:爬取京东、苏宁易购全网手机商品数据+MySQL、HBase存储

3183

扫码关注云+社区

领取腾讯云代金券