ceph luminous 新功能之磁盘智能分组

前言

本篇是luminous一个新功能介绍,关于磁盘智能分组的,这个在ceph里面叫crush class,这个我自己起名叫磁盘智能分组,因为这个实现的功能就是根据磁盘类型进行属性关联,然后进行分类,减少了很多的人为操作

以前我们需要对ssd和hdd进行分组的时候,需要大量的修改crush map,然后绑定不同的存储池到不同的 crush 树上面,现在这个逻辑简化了很多

ceph crush class {create,rm,ls} manage the new CRUSH device class feature. ceph crush set-device-class will set the clas for a particular device. Each OSD can now have a device class associated with it (e.g., hdd or ssd), allowing CRUSH rules to trivially map data to a subset of devices in the system. Manually writing CRUSH rules or manual editing of the CRUSH is normally not required.

这个是发布的公告里面关于这两个功能的说明的,本篇就来看看这个功能怎么用

实践

首先创建分类的规则

创建一个ssd的分组

[root@lab8106 ceph]# ceph osd crush class create  ssd
created class ssd with id 0 to crush map

也就是一个名称,这里我认为是ssd的分组就创建名词为ssd

再创建一个hdd的分组

[root@lab8106 ceph]# ceph osd crush class create  hdd
created class hdd with id 1 to crush map

查询分组规则

[root@lab8106 ceph]# ceph osd crush class ls
[    "ssd",    "hdd"]

把osd绑定不同的属性(属性名称就是上面的分类)

[root@lab8106 ceph]# ceph osd crush set-device-class osd.0  ssd
set-device-class item id 0 name 'osd.0' device_class ssd
[root@lab8106 ceph]# ceph osd crush set-device-class osd.2  ssd
set-device-class item id 2 name 'osd.2' device_class ssd
[root@lab8106 ceph]# ceph osd crush set-device-class osd.1  hdd
set-device-class item id 1 name 'osd.1' device_class hdd
[root@lab8106 ceph]# ceph osd crush set-device-class osd.2  hdd
set-device-class item id 3 name 'osd.3' device_class hdd

查询设置以后的效果

[root@lab8106 ceph]# ceph osd treeID WEIGHT  TYPE NAME            UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-6 0.54559 root default~hdd                                       
-5 0.54559     host lab8106~hdd                                   
 1 0.27280         osd.1             up  1.00000          1.00000 
 3 0.27280         osd.3             up  1.00000          1.00000 
-4 0.54559 root default~ssd                                       
-3 0.54559     host lab8106~ssd                                   
 0 0.27280         osd.0             up  1.00000          1.00000 
 2 0.27280         osd.2             up  1.00000          1.00000 
-1 1.09119 root default                                           
-2 1.09119     host lab8106                                       
 0 0.27280         osd.0             up  1.00000          1.00000 
 1 0.27280         osd.1             up  1.00000          1.00000 
 2 0.27280         osd.2             up  1.00000          1.00000 
 3 0.27280         osd.3             up  1.00000          1.00000

这个就是这个功能比较核心的地方,会根据磁盘类型不同,自动的创建了不同的树,并且把磁盘放入到了树里面去了

根据根创建规则(这个地方有bug,下面会提及)

[root@lab8106 ceph]# ceph osd crush rule create-simple ssd default~ssd host firstn

检查创建的rule规则:

[root@lab8106 build]# ceph   osd  crush rule  dump ssd
{    "rule_id": 1,
    "rule_name": "ssd",
    "ruleset": 1,    
    "type": 1,    
    "min_size": 1,    
    "max_size": 10,    
    "steps": [
        {            
        "op": "take",            
        "item": -4,            
        "item_name": "default~ssd"
        },
        {            
        "op": "chooseleaf_firstn",            
        "num": 0,            
        "type": "host"
        },
        {            
        "op": "emit"
        }
    ]
}

根据rule创建存储池

ceph  osd pool create testpool 64 64 ssd
ceph   osd dump|grep pool
pool 3 'testpool' replicated size 3 min_size 1 crush_rule 1 object_hash rjenkins pg_num 64 pgp_num 64 last_change 27 flags hashpspool stripe_width 0

这里有个验证规则的小bug 代码在src/mon/MonCommands.h

 COMMAND("osd crush rule create-simple " \
 "name=name,type=CephString,goodchars=[A-Za-z0-9-_.] " \
 "name=root,type=CephString,goodchars=[A-Za-z0-9-_.] " \
 "name=type,type=CephString,goodchars=[A-Za-z0-9-_.] " \

默认的goodchars不包含’~’,这里不清楚社区是准备去改创建的逻辑去掉这个特殊符号,还是去改创建rule相关的规则,我已经提交了issue#20446,等待社区的修改方案

功能逻辑

现在方法

创建一个磁盘类型的class,给磁盘标记class的统一标签,自动会根据class的类型创建一个树,根据树创建rule,根据rule创建存储池,整个操作没有动crushmap的操作

增加或修改盘的时候,设置下属性即可

以前的方法

先添加盘,手动创建树,新加的osd要找下原来的树的名称,然后把osd放到这个树里面去,然后创建规则,根据rule创建存储池

增加盘或修改盘的时候,需要查找下,然后根据查找的规则进行相关操作

总结

现在方法对用户操作来说更透明,直接对磁盘进行分类打标签即可,减少了一些复杂的操作逻辑,是一个很不错的功能

原文发布于微信公众号 - 磨磨谈(momotan1987)

原文发表时间:2017-06-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏零基础使用Django2.0.1打造在线教育网站

零基础使用Django2.0.1打造在线教育网站(三):Django基础知识回顾

努力与运动兼备~有任何问题可以加我好友或者关注微信公众号,欢迎交流,我们一起进步!

40520
来自专栏gaoqin31

让linux程序在后台运行

最近要用php进程发奖励,因为要精确到秒执行,linux系统的定时用不了,于是写了个死循环,usleep是必须的,否则系统cpu占用很高的系统cpu。

1.2K10
来自专栏大数据挖掘DT机器学习

python模拟新浪微博登陆功能(新浪微博爬虫)

有些网站设置了权限,只有在登录了之后才能爬取网站的内容,如何模拟登录,目前的方法主要是利用浏览器cookie模拟登录。 浏览器访问服务器的过程 在用户访问网页时...

1.1K50
来自专栏游戏杂谈

Nginx设置Keep-Alive为close

nginx不能在响应头部添加Keep-Alive,详见:http://wiki.nginx.org/HttpCoreModule#keepalive_timeo...

63920
来自专栏Flutter&Dart

DartVM服务器开发(第十八天)--项目部署到云服务器

先购买一台云服务器,我选择的是Ubuntu / 16.04 LTS amd64 (64bit)操作系统

30230
来自专栏Puppeteer学习

超越Ctrl+S保存页面所有资源

页面所有资源包含本页面所在域资源以及第三方域资源,同主域的资源也认为第三方域资源,这种资源一般是以绝对路径的方式标识,同域下资源主要有三种表现方式 (以ht...

66330
来自专栏林德熙的博客

Roslyn 通过 nuget 统一管理信息

在日常的开发中,如果需要发布多个库,多个库之间的版权和作者等信息都是相同的。如果需要每次更改信息都打开项目进行编辑,这个效率是很低的。本文提供一个方式,通过安装...

10620
来自专栏小灰灰

借助GitHub搭建属于自己的maven仓库

在Github上也写了不少的项目了,然后经常遇到的一个问题就是,很多自己写的项目,希望在另外一个项目中使用时,只能把这个项目下载下来,相当之不方便

45380
来自专栏技术墨客

React 搭建开发环境

本文记录了本人以及目前团队从无到有使用React的过程,我们将从webpack开始说起,一步一步展现React最基本的开发生态。在这里并不会介绍任何jsx或es...

21710
来自专栏用户画像

MAC Elasticsearch安装

https://www.elastic.co/downloads/elasticsearch

9120

扫码关注云+社区

领取腾讯云代金券