ceph luminous 新功能之磁盘智能分组

前言

本篇是luminous一个新功能介绍,关于磁盘智能分组的,这个在ceph里面叫crush class,这个我自己起名叫磁盘智能分组,因为这个实现的功能就是根据磁盘类型进行属性关联,然后进行分类,减少了很多的人为操作

以前我们需要对ssd和hdd进行分组的时候,需要大量的修改crush map,然后绑定不同的存储池到不同的 crush 树上面,现在这个逻辑简化了很多

ceph crush class {create,rm,ls} manage the new CRUSH device class feature. ceph crush set-device-class will set the clas for a particular device. Each OSD can now have a device class associated with it (e.g., hdd or ssd), allowing CRUSH rules to trivially map data to a subset of devices in the system. Manually writing CRUSH rules or manual editing of the CRUSH is normally not required.

这个是发布的公告里面关于这两个功能的说明的,本篇就来看看这个功能怎么用

实践

首先创建分类的规则

创建一个ssd的分组

[root@lab8106 ceph]# ceph osd crush class create  ssd
created class ssd with id 0 to crush map

也就是一个名称,这里我认为是ssd的分组就创建名词为ssd

再创建一个hdd的分组

[root@lab8106 ceph]# ceph osd crush class create  hdd
created class hdd with id 1 to crush map

查询分组规则

[root@lab8106 ceph]# ceph osd crush class ls
[    "ssd",    "hdd"]

把osd绑定不同的属性(属性名称就是上面的分类)

[root@lab8106 ceph]# ceph osd crush set-device-class osd.0  ssd
set-device-class item id 0 name 'osd.0' device_class ssd
[root@lab8106 ceph]# ceph osd crush set-device-class osd.2  ssd
set-device-class item id 2 name 'osd.2' device_class ssd
[root@lab8106 ceph]# ceph osd crush set-device-class osd.1  hdd
set-device-class item id 1 name 'osd.1' device_class hdd
[root@lab8106 ceph]# ceph osd crush set-device-class osd.2  hdd
set-device-class item id 3 name 'osd.3' device_class hdd

查询设置以后的效果

[root@lab8106 ceph]# ceph osd treeID WEIGHT  TYPE NAME            UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-6 0.54559 root default~hdd                                       
-5 0.54559     host lab8106~hdd                                   
 1 0.27280         osd.1             up  1.00000          1.00000 
 3 0.27280         osd.3             up  1.00000          1.00000 
-4 0.54559 root default~ssd                                       
-3 0.54559     host lab8106~ssd                                   
 0 0.27280         osd.0             up  1.00000          1.00000 
 2 0.27280         osd.2             up  1.00000          1.00000 
-1 1.09119 root default                                           
-2 1.09119     host lab8106                                       
 0 0.27280         osd.0             up  1.00000          1.00000 
 1 0.27280         osd.1             up  1.00000          1.00000 
 2 0.27280         osd.2             up  1.00000          1.00000 
 3 0.27280         osd.3             up  1.00000          1.00000

这个就是这个功能比较核心的地方,会根据磁盘类型不同,自动的创建了不同的树,并且把磁盘放入到了树里面去了

根据根创建规则(这个地方有bug,下面会提及)

[root@lab8106 ceph]# ceph osd crush rule create-simple ssd default~ssd host firstn

检查创建的rule规则:

[root@lab8106 build]# ceph   osd  crush rule  dump ssd
{    "rule_id": 1,
    "rule_name": "ssd",
    "ruleset": 1,    
    "type": 1,    
    "min_size": 1,    
    "max_size": 10,    
    "steps": [
        {            
        "op": "take",            
        "item": -4,            
        "item_name": "default~ssd"
        },
        {            
        "op": "chooseleaf_firstn",            
        "num": 0,            
        "type": "host"
        },
        {            
        "op": "emit"
        }
    ]
}

根据rule创建存储池

ceph  osd pool create testpool 64 64 ssd
ceph   osd dump|grep pool
pool 3 'testpool' replicated size 3 min_size 1 crush_rule 1 object_hash rjenkins pg_num 64 pgp_num 64 last_change 27 flags hashpspool stripe_width 0

这里有个验证规则的小bug 代码在src/mon/MonCommands.h

 COMMAND("osd crush rule create-simple " \
 "name=name,type=CephString,goodchars=[A-Za-z0-9-_.] " \
 "name=root,type=CephString,goodchars=[A-Za-z0-9-_.] " \
 "name=type,type=CephString,goodchars=[A-Za-z0-9-_.] " \

默认的goodchars不包含’~’,这里不清楚社区是准备去改创建的逻辑去掉这个特殊符号,还是去改创建rule相关的规则,我已经提交了issue#20446,等待社区的修改方案

功能逻辑

现在方法

创建一个磁盘类型的class,给磁盘标记class的统一标签,自动会根据class的类型创建一个树,根据树创建rule,根据rule创建存储池,整个操作没有动crushmap的操作

增加或修改盘的时候,设置下属性即可

以前的方法

先添加盘,手动创建树,新加的osd要找下原来的树的名称,然后把osd放到这个树里面去,然后创建规则,根据rule创建存储池

增加盘或修改盘的时候,需要查找下,然后根据查找的规则进行相关操作

总结

现在方法对用户操作来说更透明,直接对磁盘进行分类打标签即可,减少了一些复杂的操作逻辑,是一个很不错的功能

原文发布于微信公众号 - 磨磨谈(momotan1987)

原文发表时间:2017-06-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小灰灰

借助GitHub搭建属于自己的maven仓库

在Github上也写了不少的项目了,然后经常遇到的一个问题就是,很多自己写的项目,希望在另外一个项目中使用时,只能把这个项目下载下来,相当之不方便

4028
来自专栏零基础使用Django2.0.1打造在线教育网站

零基础使用Django2.0.1打造在线教育网站(三):Django基础知识回顾

努力与运动兼备~有任何问题可以加我好友或者关注微信公众号,欢迎交流,我们一起进步!

2902
来自专栏AndroidTv

如何用Android Studio查看build.gradle源码

上一篇博客里讲过 build.gradle 里的每一行代码基本都是在调用一个方法,既然是这样,我们就可以用 android studio(下面简称as) 去查看...

46510
来自专栏nnngu

01 整合IDEA+Maven+SSM框架的高并发的商品秒杀项目之业务分析与DAO层

项目源代码:https://github.com/nnngu/nguSeckill ---- 这是一个整合IDEA+Maven+SSM框架的高并发的商品秒杀项...

3808
来自专栏老码农专栏

原 荐 介绍一个 Java 程序运行时版本信

2148
来自专栏Puppeteer学习

超越Ctrl+S保存页面所有资源

页面所有资源包含本页面所在域资源以及第三方域资源,同主域的资源也认为第三方域资源,这种资源一般是以绝对路径的方式标识,同域下资源主要有三种表现方式 (以ht...

5833
来自专栏林德熙的博客

Roslyn 通过 nuget 统一管理信息

在日常的开发中,如果需要发布多个库,多个库之间的版权和作者等信息都是相同的。如果需要每次更改信息都打开项目进行编辑,这个效率是很低的。本文提供一个方式,通过安装...

932
来自专栏生信技能树

生信菜鸟团博客2周年精选文章集(2)wordpress的代码高亮

能做到代码高亮的插件实在是太多了,我这里随便选择一个。首先在wordpress的插件里面查找SyntaxHighlighter Evolved这个插件。 ? 下...

2767
来自专栏大数据挖掘DT机器学习

python模拟新浪微博登陆功能(新浪微博爬虫)

有些网站设置了权限,只有在登录了之后才能爬取网站的内容,如何模拟登录,目前的方法主要是利用浏览器cookie模拟登录。 浏览器访问服务器的过程 在用户访问网页时...

8625
来自专栏编程

推荐两个bash环境下的Git插件

情景 在使用Git时,常遇到这样的情况: 使用子命令时必须完全输入,并不能像shell那样有命令补全的功能; Git鼓励大量使用分支,当在分支之间切换时,常常需...

3019

扫码关注云+社区