专栏首页大魏分享(微信公众号:david-share)Ceph,Red Hat在代码贡量献上一骑绝尘的开源项目

Ceph,Red Hat在代码贡量献上一骑绝尘的开源项目

前言:

笔者在之前的《从PowerVM,KVM到Docker:存储池的配置与调优-第一篇》中,分享了PowerVM下存储池的配置和调优的方法。在X86虚拟化和云时代,Ceph具有天生的优势,因此本文着重介绍Ceph的原理和架构。同时,本文也作为《从PowerVM,KVM到Docker:存储池的配置与调优-第二篇》而存在。

Ceph的前世

2014年,红帽收购Inktank(Inktank主要提供基于Ceph的企业级产品),此次收购后,红帽成为最大的开源存储产品提供商,包括对象存储、块存储和文件存储。红帽在Ceph开源项目上的代码贡献量上可以说是一骑绝尘。

从存储虚拟化软件谈起

笔者此前做的比较多的具有某些SDS特性的产品有几种:VxVM, GPFS, vSAN。

笔者做VxVM的方案大概是在2008年左右。当时的方案在Solaris操作系统上,通过VxVM,给两个JBOD做RAID10(Stripe-Mirror)。这种方式是以文件系统的形式给OS使用。

在2010-2011年,笔者做了一些GPFS的实施。GPFS利用共享存储的LUN,创建共享文件系统。存储可以异构,磁盘阵列和JBOD都可以。关注GPFS架构和性能的同学,可参照之前笔者的文档:http://www.ibm.com/developerworks/cn/aix/library/1210_weixy_gpfs43/。GPFSShare Nothing结构(GPFS File Placement Optimizer)更适用于大数据平台,笔者无深入了解。

2015-2016年,笔者做了一些vSAN的研究和PoC。vSAN利用服务器的本地磁盘,利用VMFS-L/vSANFS,对这些磁盘做格式化,以块设备的方式给服务器上的虚拟使用(VMDK存放在vSANFS上)。

近年来,对象对象存储的概念逐渐火热起来。OpenStack的Swift提供的就是对象存储的功能。

每种技术,各有其优劣势,也有不同的适用场景,存在就有存在的理由。但是,在云时代,很多很多时候要求的是统一门户的概念,这不光是云管平台,存储也应该如此。

很幸运,Ceph出现了。

Ceph储存数据本质

Ceph本质上是一种对象存储。对外提供三种访问方式:

  • Object:兼容Swift和S3的API
  • Block:支持精简配置、快照、克隆
  • File:Posix接口,支持快照

下图是Ceph内部工作机制,这与对外接口无关。也就是说,向Ceph中存放一个文件,无论是来自CephFS,块设备或者对象方式,在内部存放都按照如下的逻辑进行。

在上图中,从上到下,文件好理解,就是我们要存储的文件。对象是将文件意默认4MB大小拆分的数据块。接下来是PG和OSD。OSD:Object Storage Device,对象存储设备,对应硬件而言,可以是一个磁盘或者一个LUN

下面介绍一个PG的概念:

一个文件,例如16M,向ceph存放文件的时候,会被拆分成4个对象,每个4M。然后PG中的对象再存放到不同的OSD上。

那么有人会问,PG的作用是什么?没有PG,一个文件被拆成4个对象,不是也可以直接存放到OSDs上么?

解释如下:

当我们向ceph集群中存放一个文件,这个对象会被拆成几个对象。对象大小默认4MB。我们通过对象的元数据,我们可以找到这些对象。这些对象被存放到不同的PG中。用这种分组的方式,可以将很多文件的对象分组,在找对象的时候,先找PG,实现间接寻址,从而减少每个对象元数据的数量。或者说,有了PG以后,我们再找文件的对象时,就不用挨着OSD去找了。但PG需要一点CPU和内存的开销。一般一个OSD上PG的数量一般在100左右。

例如下图实验环境,ceph集群有3个OSD,320个PG。

Pool的概念:

在创建Ceph的时候,要创建一个Pool,它是一个逻辑概念,可以简单理解成存储池,Ceph内部存放数据都放在pool中,它是存储对象的逻辑分组。Pool管理PG的数量、副本的数量等规则。用户想向pool中存放数据,那么必须有访问这个pool的权限。如果一个文件有副本,那么它被拆分成对象后,存放到PG中,PG在对应OSD的时候,就会做副本,相同的数据存放到多个OSD上。第一个是Primary,其余的都是副本。

Crush算法

ceph内部存放数据的算法使用Crush。全称是:Controlled Replication Under Scalable Hashing。与传统的数据存放方式不同,在Crush算法下,数据的放置不依赖于元数据服务器。CRUSH只需要一个简洁而层次清晰的设备描述,包括存储集群和副本放置策略。这种方法有两个关键的优点:首先,它是完全分布式的,在这个大系统的中的任何一方都可以独立计算任何对象的位置;第二,当pg和osd确定过后,特定数据的放置位置也就确定了,除非这两者发生变动。

CRUSH算法还可以很好的将数据的不同副本放到不同的故障域中。不同的故障域可以设置成在不同机架的服务器上,最大程度地实现高可用。

副本数设置

设置数据的副本是为了保证高可用,这点每种技术都是一样的。比如vg mirror,ASM mirror,vSAN副本等等。

有人写过CEPH 可靠性的计算方法分析,在文章中,作者举例ceph集群有三个节点,副本数为3的情况下,数据的可靠性理论值为9个9。(http://www.oschina.net/question/12_223909)

Ceph中,副本数量没有限制,但从成本和高可用性综合考虑,生产商副本数设置为3应该是比较合理的。

Ceph集群

无论是GPFS,还是vSAN,还是ceph,都存在存储集群的概念。提到ceph集群,会提到一个词RADOS,这其实是五个单词的缩写。

Ceph集群角色有:monitor和OSD server。Monitor负责监控集群和维护集群的稳定状态。OSD server则提供存储资源,也就是OSD。在生产环境中,monitor至少是三个,并且必须为奇数个。

在实验环境中有三个服务器组成ceph集群。三个节点既是OSD server,又是monitor。通过下面命令做一下简单的了解。节点名称分别为:node1,node2,node3。IP分别为192.168.0.101/102/103。

创建集群的步骤:

在终端上配置ceph集群的部署文件:

执行配置:

接下来生成ceph的监控配置文件。

查看ceph集群的状态,可以看到集群有三个monitor节点。健康状态为error的原因是,现在还没有配置OSD server。

创建osd servers:

查看OSD servers:

查看集群状态:

查看目前已经存在的pool

查看集群中所有pool的副本尺寸:

查看集群monitor的情况,如下两条命令都可以:

查看参与投票节点,以及leader:

Ceph的对外服务方式

前文已经提到,ceph对外可以提供块设备,文件系统和对象存储。我们依次说明。

RBD(块设备方式)

首先看一下块设备的访问方式,简称为RBD,也就是RADOS Block Device。

为了方便理解,请参照以下的实验记录:

首先在ceph集群中创建名字为davidwei的128M rbd并进行查看:

Client端上加载rbd模块:

[root@client-55b4 ceph-deploy]# modprobe rbd

在client端上映射名为davidwei的rbd设备。

至此,rbd设备在client上被识别成块设备。

查看该设备文件类型和大小:

截止到目前,如果client中可以直接使用裸设备的应用,就可以调用/dev/rbd0设备了。

我们在试验中,将其配置为文件系统,然后mount到本地,然后通过文件系统访问方式存放数据。

# mkfs.ext4 /dev/rbd0

# mkdir /mnt/rbd

# mount /dev/rbd0 /mnt/rbd

尝试写入一个文件:

结论:Ceph RBD的方式,适用于传统的块设备访问方式,OS识别到设备以后,可以直接通过应用调用,或者创建文件系统进行访问。

Ceph内部数据操作演示

本小节通过调用ceph内部的机制,展示使用对象的方式存储和获取文件。以说明为什么说Ceph内部是以对象的方式存取文件的。

新建一个文件,读者一定要注意试验中文件创建的时间:

将本地OS的文件以对象的方式存到ceph中,然后再将其获取下来,并命名成另外一个文件:

查看pool和对象文件在pool中的位置:

对象方式

应用访问数据有两种方式:

1.通过调用software vendor的API。如果采用这种方式,那么应用需要直接调用ceph的API。

2.调用restful API。使用这种方式需要连接到一个Gateway。比如通过swift

Gataway支持的协议有两种,亚马逊的S3和swift。由于篇幅有限,本部分不进行demo展示,后续文章将进行说明。

文件系统方式:

文件系统访问方式,目的是替换传统的NAS和NFS。理解起来相对比较简单。

详细步骤参照:http://docs.ceph.org.cn/cephfs/createfs/

创建cephfs文件系统:

查看文件系统:

本地mount,当然,client端也可以进行mount。

结论:通过Cephfs,客户可以使用传统的NAS或者NFS的方式和存放和读取文件。

总结:

通过本文的描述,读者应该大致了解了Ceph的工作原理。无论从哪方面讲,Ceph都是适用于云时代的三合一SDS解决方案。

本文分享自微信公众号 - 大魏分享(david-share)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-05-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • RedHat Ceph存储——《面向生产环境的Ceph 对象网关指南》

    魏新宇
  • Howdy,China!:构建JSF Web Application第一篇

    版权说明:本文书写过程中参照了红帽的技术文档;本系列文章中的部分测试代码为红帽公司版权所有,因此不能提供源码文件。

    魏新宇
  • 五大Kubernetes最佳实践

    魏新宇
  • 反向代理华为云OBS实现自定义域名访问

    w候人兮猗
  • GP TEE中的几种存储方式介绍

    我们知道TEEOS最重要的功能莫过于安全存储了,这是一切安全的前提,根据存储安全性和使用场景GP TEE安全存储分为RPMB安全存储、SFS安全存储和SQLFS...

    安智客
  • 教程合集 | MATLAB绘图基本操作与属性

    周一到!从本周开始,我们一起来学习关于绘图的操作吧!之前学过了如何从文件中读取数据,有的小伙伴可能着急了,怎么学了这么久,还是不会画图呀?!今天我们从M...

    bugsuse
  • 永久存储

    从文件里读取字符串是非常简单的,但是如果试图读取出数值的话就要费点力气了。python 提供了一个标准的模块,pickle 的实质就是利用一些算法将你的数据对象...

    清菡
  • 数据安全性思考:在云中应信任什么?

    虽然云供应商尽力提供了他们的安全措施,但是关于合作伙伴、客户以及他们在安全方面努力的投诉依然存在。 ? 对于Cirrity这样没有直属销售队伍而依托系统集成商和...

    静一
  • Transfer learning在知心商业广告点击率预估中的应用

    用户1737318
  • Oracle JDK7 bug 发现、分析与解决实战

    众所周知,Oracle JDK 是 Java 语言的绝对权威,很多时候 JDK 与 Java 语言近似一个概念。但我们始终要保持实事求是的精神,敢于质疑。本文...

    2020labs小助手

扫码关注云+社区

领取腾讯云代金券