Ceph,Red Hat在代码贡量献上一骑绝尘的开源项目

前言:

笔者在之前的《从PowerVM,KVM到Docker:存储池的配置与调优-第一篇》中,分享了PowerVM下存储池的配置和调优的方法。在X86虚拟化和云时代,Ceph具有天生的优势,因此本文着重介绍Ceph的原理和架构。同时,本文也作为《从PowerVM,KVM到Docker:存储池的配置与调优-第二篇》而存在。

Ceph的前世

2014年,红帽收购Inktank(Inktank主要提供基于Ceph的企业级产品),此次收购后,红帽成为最大的开源存储产品提供商,包括对象存储、块存储和文件存储。红帽在Ceph开源项目上的代码贡献量上可以说是一骑绝尘。

从存储虚拟化软件谈起

笔者此前做的比较多的具有某些SDS特性的产品有几种:VxVM, GPFS, vSAN。

笔者做VxVM的方案大概是在2008年左右。当时的方案在Solaris操作系统上,通过VxVM,给两个JBOD做RAID10(Stripe-Mirror)。这种方式是以文件系统的形式给OS使用。

在2010-2011年,笔者做了一些GPFS的实施。GPFS利用共享存储的LUN,创建共享文件系统。存储可以异构,磁盘阵列和JBOD都可以。关注GPFS架构和性能的同学,可参照之前笔者的文档:http://www.ibm.com/developerworks/cn/aix/library/1210_weixy_gpfs43/。GPFSShare Nothing结构(GPFS File Placement Optimizer)更适用于大数据平台,笔者无深入了解。

2015-2016年,笔者做了一些vSAN的研究和PoC。vSAN利用服务器的本地磁盘,利用VMFS-L/vSANFS,对这些磁盘做格式化,以块设备的方式给服务器上的虚拟使用(VMDK存放在vSANFS上)。

近年来,对象对象存储的概念逐渐火热起来。OpenStack的Swift提供的就是对象存储的功能。

每种技术,各有其优劣势,也有不同的适用场景,存在就有存在的理由。但是,在云时代,很多很多时候要求的是统一门户的概念,这不光是云管平台,存储也应该如此。

很幸运,Ceph出现了。

Ceph储存数据本质

Ceph本质上是一种对象存储。对外提供三种访问方式:

  • Object:兼容Swift和S3的API
  • Block:支持精简配置、快照、克隆
  • File:Posix接口,支持快照

下图是Ceph内部工作机制,这与对外接口无关。也就是说,向Ceph中存放一个文件,无论是来自CephFS,块设备或者对象方式,在内部存放都按照如下的逻辑进行。

在上图中,从上到下,文件好理解,就是我们要存储的文件。对象是将文件意默认4MB大小拆分的数据块。接下来是PG和OSD。OSD:Object Storage Device,对象存储设备,对应硬件而言,可以是一个磁盘或者一个LUN

下面介绍一个PG的概念:

一个文件,例如16M,向ceph存放文件的时候,会被拆分成4个对象,每个4M。然后PG中的对象再存放到不同的OSD上。

那么有人会问,PG的作用是什么?没有PG,一个文件被拆成4个对象,不是也可以直接存放到OSDs上么?

解释如下:

当我们向ceph集群中存放一个文件,这个对象会被拆成几个对象。对象大小默认4MB。我们通过对象的元数据,我们可以找到这些对象。这些对象被存放到不同的PG中。用这种分组的方式,可以将很多文件的对象分组,在找对象的时候,先找PG,实现间接寻址,从而减少每个对象元数据的数量。或者说,有了PG以后,我们再找文件的对象时,就不用挨着OSD去找了。但PG需要一点CPU和内存的开销。一般一个OSD上PG的数量一般在100左右。

例如下图实验环境,ceph集群有3个OSD,320个PG。

Pool的概念:

在创建Ceph的时候,要创建一个Pool,它是一个逻辑概念,可以简单理解成存储池,Ceph内部存放数据都放在pool中,它是存储对象的逻辑分组。Pool管理PG的数量、副本的数量等规则。用户想向pool中存放数据,那么必须有访问这个pool的权限。如果一个文件有副本,那么它被拆分成对象后,存放到PG中,PG在对应OSD的时候,就会做副本,相同的数据存放到多个OSD上。第一个是Primary,其余的都是副本。

Crush算法

ceph内部存放数据的算法使用Crush。全称是:Controlled Replication Under Scalable Hashing。与传统的数据存放方式不同,在Crush算法下,数据的放置不依赖于元数据服务器。CRUSH只需要一个简洁而层次清晰的设备描述,包括存储集群和副本放置策略。这种方法有两个关键的优点:首先,它是完全分布式的,在这个大系统的中的任何一方都可以独立计算任何对象的位置;第二,当pg和osd确定过后,特定数据的放置位置也就确定了,除非这两者发生变动。

CRUSH算法还可以很好的将数据的不同副本放到不同的故障域中。不同的故障域可以设置成在不同机架的服务器上,最大程度地实现高可用。

副本数设置

设置数据的副本是为了保证高可用,这点每种技术都是一样的。比如vg mirror,ASM mirror,vSAN副本等等。

有人写过CEPH 可靠性的计算方法分析,在文章中,作者举例ceph集群有三个节点,副本数为3的情况下,数据的可靠性理论值为9个9。(http://www.oschina.net/question/12_223909)

Ceph中,副本数量没有限制,但从成本和高可用性综合考虑,生产商副本数设置为3应该是比较合理的。

Ceph集群

无论是GPFS,还是vSAN,还是ceph,都存在存储集群的概念。提到ceph集群,会提到一个词RADOS,这其实是五个单词的缩写。

Ceph集群角色有:monitor和OSD server。Monitor负责监控集群和维护集群的稳定状态。OSD server则提供存储资源,也就是OSD。在生产环境中,monitor至少是三个,并且必须为奇数个。

在实验环境中有三个服务器组成ceph集群。三个节点既是OSD server,又是monitor。通过下面命令做一下简单的了解。节点名称分别为:node1,node2,node3。IP分别为192.168.0.101/102/103。

创建集群的步骤:

在终端上配置ceph集群的部署文件:

执行配置:

接下来生成ceph的监控配置文件。

查看ceph集群的状态,可以看到集群有三个monitor节点。健康状态为error的原因是,现在还没有配置OSD server。

创建osd servers:

查看OSD servers:

查看集群状态:

查看目前已经存在的pool

查看集群中所有pool的副本尺寸:

查看集群monitor的情况,如下两条命令都可以:

查看参与投票节点,以及leader:

Ceph的对外服务方式

前文已经提到,ceph对外可以提供块设备,文件系统和对象存储。我们依次说明。

RBD(块设备方式)

首先看一下块设备的访问方式,简称为RBD,也就是RADOS Block Device。

为了方便理解,请参照以下的实验记录:

首先在ceph集群中创建名字为davidwei的128M rbd并进行查看:

Client端上加载rbd模块:

[root@client-55b4 ceph-deploy]# modprobe rbd

在client端上映射名为davidwei的rbd设备。

至此,rbd设备在client上被识别成块设备。

查看该设备文件类型和大小:

截止到目前,如果client中可以直接使用裸设备的应用,就可以调用/dev/rbd0设备了。

我们在试验中,将其配置为文件系统,然后mount到本地,然后通过文件系统访问方式存放数据。

# mkfs.ext4 /dev/rbd0

# mkdir /mnt/rbd

# mount /dev/rbd0 /mnt/rbd

尝试写入一个文件:

结论:Ceph RBD的方式,适用于传统的块设备访问方式,OS识别到设备以后,可以直接通过应用调用,或者创建文件系统进行访问。

Ceph内部数据操作演示

本小节通过调用ceph内部的机制,展示使用对象的方式存储和获取文件。以说明为什么说Ceph内部是以对象的方式存取文件的。

新建一个文件,读者一定要注意试验中文件创建的时间:

将本地OS的文件以对象的方式存到ceph中,然后再将其获取下来,并命名成另外一个文件:

查看pool和对象文件在pool中的位置:

对象方式

应用访问数据有两种方式:

1.通过调用software vendor的API。如果采用这种方式,那么应用需要直接调用ceph的API。

2.调用restful API。使用这种方式需要连接到一个Gateway。比如通过swift

Gataway支持的协议有两种,亚马逊的S3和swift。由于篇幅有限,本部分不进行demo展示,后续文章将进行说明。

文件系统方式:

文件系统访问方式,目的是替换传统的NAS和NFS。理解起来相对比较简单。

详细步骤参照:http://docs.ceph.org.cn/cephfs/createfs/

创建cephfs文件系统:

查看文件系统:

本地mount,当然,client端也可以进行mount。

结论:通过Cephfs,客户可以使用传统的NAS或者NFS的方式和存放和读取文件。

总结:

通过本文的描述,读者应该大致了解了Ceph的工作原理。无论从哪方面讲,Ceph都是适用于云时代的三合一SDS解决方案。

本文分享自微信公众号 - 大魏分享(david-share)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-05-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏13blog.site

Docker+SpringBoot+Mybatis+thymeleaf的Java博客系统开源啦

作者:13 GitHub:https://github.com/ZHENFENG13 版权声明:本文为原创文章,未经允许不得转载。 个人博客 对于技术...

59590
来自专栏13blog.site

Java开源博客My-Blog之mysql容器重复初始化的严重bug修复过程

写在前面的话 My Blog项目已经开源了两个多月,也收获了不少star,在这里谢谢各位朋友的建议及帮助。由于个人原因,这个开源项目最初的定位其实是一个dock...

38070
来自专栏PaddlePaddle

如何贡献文档

如何贡献文档 PaddlePaddle的文档包括英文文档 doc 和中文文档 doc_cn 两个部分。文档都是通过 cmake 驱动 sphinx 编译生成,生...

36990
来自专栏13blog.site

让docker中的mysql启动时自动执行sql文件

本文提要 本文目的不仅仅是创建一个MySQL的镜像,而是在其基础上再实现启动过程中自动导入数据及数据库用户的权限设置,并且在新创建出来的容器里自动启动MySQL...

82660
来自专栏开发经验记录

关于Docker的一些常识

一、为什么使用Docker Docker一词意为码头工人,而Docker的功能也与集装箱类似。通常一个webapp并不会用到操作系统/虚拟机的全部功能,即操作...

38990
来自专栏13blog.site

将数据的初始化放到docker中的整个工作过程(问题记录)

由于是打算作为个人博客,所以对于install这个步骤,我从一开始就打算删掉的,前面一个多星期一直在修bug,到前天才开始做这个事情. 过程中也是碰到了各种问...

38850
来自专栏PaddlePaddle

【使用指南】PaddlePaddle安装编译问题汇总和基本使用概念

编写|PaddlePaddle 排版|wangp Part1 安装编译问题汇总 ? 用户在使用PaddlePaddle GPU的Docker镜像的时候,常常出现...

47490
来自专栏13blog.site

解决Docker容器时区及时间不同步的问题

前几天在测试应用的功能时,发现存入数据库中的数据create_time或者update_time字段总是错误,其他数据都是正常的,只有关于时间的字段是错误的。 ...

56560
来自专栏AI研习社

PyTorch vs. TensorFlow月度使用体验总结

日前,英伟达深度学习项目实习生Dominic Monn在medium上发文总结了他使用PyTorch和TensorFlow的一些体会,在文章中,他从安装、使用、...

439150
来自专栏jessetalks

Gitlab CI 自动部署 asp.net core web api 到Docker容器

为什么要写这个? 在一个系统长大的过程中会经历不断重构升级来满足商业的需求,而一个严谨的商业系统需要高效、稳定、可扩展,有时候还不得不考虑成本的问题。我希望能找...

64860

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励