分布式文件存储 Cephfs 与相关系统比较及使用技巧

Ceph 文件系统( Ceph FS )是个 POSIX 兼容的文件系统,它使用 Ceph 存储集群来存储数据。 Ceph 文件系统与 Ceph 块设备、同时提供 S3 和 Swift API 的 Ceph 对象存储、或者原生库( librados )一样,都使用着相同的 Ceph 存储集群系统。

相较于块存储和对象存储,大家对于Ceph文件存储的使用了解较少。为此,社区日前邀请了领域内行家,从其特点、使用场景、系统架构等方面进行对比,带领大家走进Cephfs。从最基本的功能介绍,到最后的使用经验分享,在活动中与社区会员共同交流分析。

以下是专家李航根据交流内容总结的典型问题答疑。

Q1: cephfs 针对高可用是怎样实现的?

针对cephfs 的高可用实现方式都有哪些,分别利弊是什么,是否可以实现商业上线使用

A:

首先ceph本身就是分布式高可用,高可靠,可扩展的系统。

而cephfs 的相关组件包含:

mon监控整体集群信息

mds元信息文件及目录信息

osd数据节点及文件信息

针对这三个组件都是可以 横向扩展,性能也是随着节点的增加而线性增加。

三个组件都是基于分布式协议Paxos 实现的, 集群内部不会存在单点的问题。

任何一个节点挂掉,都不会影响集群正常工作,对于客户端也是无感知的。

目前,可以用到生产环境,但是得做好充分的测试,开源软件肯定会有些小问题。

Q2:分布式文件系统和并行文件系统有什么区别与联系?如何区分?

A:

分布式文件系统

- 自然地,“分布式”是重点,它是相对与本地文件系统而言的。分布式文件系统通常指C/S架构或网络文件系统,用户数据没有直接连接到本地主机,而是存储在远程存储服务器上。NFS/CIFS是最为常见的分布式文件系统,这就是我们说的NAS系统。

并行文件系统

- 这种文件系统能够支持并行应用,比如MPI。在并行文件系统环境下,所有客户端可以在同一时间并发读写同一个文件。并发读,大部分文件系统都能够实现。并发写实现起来要复杂许多,既要保证数据一致性,又要最大限度提高并行性,因此在锁机制方面需要特别设计,如细粒度的字节锁。通常SAN共享文件系统都是并行文件系统,如GPFS、StorNext、GFS、BWFS,集群文件系统大多也是并行文件系统,如Lustre, Panasas等。

如何区分?

- 区分这两者的重点是“分布式”、“并行” 前缀关键字。

简单来说,非本地直连的、通过网络连接的,这种为分布式文件系统;

支持并行应用(如MPI)的,这种为并行文件系统。

这两个概念之间具有重叠之处,比如Lustre,它既是分布式文件系统,也是并行文件系统。

Q3: 之前在Jewel版测试cephfs fuse client 性能比Kernel client低,目前最新版L 是否有改善?

A:

用这个还真没有对比测试过, 但是ceph fuse client 稳定性倒是提升了不少,修复了不少bug。

fuse用户态模式 肯定比直接用kernel内核模式性能低。

如果您的性能要求比较严格,肯定考虑直接用kernel client, 新版本关于kernel模式 稳定性很高,性能有保障。

Q4: 请教一下CephFS、RBD、RGW各自的适用场景和优缺点?

A:

三种存储类型-块存储

典型设备:磁盘阵列,硬盘

主要是将裸磁盘空间映射给主机使用的。

优点:

• 通过Raid与LVM等手段,对数据提供了保护。

• 多块廉价的硬盘组合起来,提高容量。

• 多块磁盘组合出来的逻辑盘,提升读写效率。

缺点:

• 采用SAN架构组网时,光纤交换机,造价成本高。

• 主机之间无法共享数据。

使用场景:

• docker容器、虚拟机磁盘存储分配。

• 日志存储。

• 文件存储。

• …

三种存储类型-文件存储

典型设备:FTP、NFS服务器

为了克服块存储文件无法共享的问题,所以有了文件存储。

在服务器上架设FTP与NFS服务,就是文件存储。

优点:

• 造价低,随便一台机器就可以了。

• 方便文件共享。

缺点:

• 读写速率低。

• 传输速率慢。

使用场景:

• 日志存储。

• 有目录结构的文件存储。

• …

三种存储类型-对象存储

典型设备:内置大容量硬盘的分布式服务器(swift, s3)

多台服务器内置大容量硬盘,安装上对象存储管理软件,对外提供读写访问功能。

优点:

• 具备块存储的读写高速。

• 具备文件存储的共享等特性。

使用场景:(适合更新变动较少的数据)

• 图片存储。

• 视频存储。

• …

Q5: 运维方面有推荐的自动化系统吗?

A:

目前主流的Ceph开源监控软件有:Calamari、VSM、Inkscope、Ceph-Dash、Zabbix等。

Calamari对外提供了十分漂亮的Web管理和监控界面,以及一套改进的REST API接口(不同于Ceph自身的REST API),在一定程度上简化了Ceph的管理。

优点:

- 轻量级

- 官方化

- 界面友好

缺点:

- 不易安装

- 管理功能滞后

Virtual Storage Manager (VSM)是Intel公司研发并且开源的一款Ceph集群管理和监控软件,简化了一些Ceph集群部署的一些步骤,可以简单的通过WEB页面来操作。

优点:

- 管理功能好

- 界面友好

- 可以利用它来部署Ceph和监控Ceph

缺点:

- 非官方

- 依赖OpenStack某些包

Inkscope 是一个 Ceph 的管理和监控系统,依赖于 Ceph 提供的 API,使用 MongoDB 来存储实时的监控数据和历史信息。

优点:

- 易部署

- 轻量级

- 灵活(可以自定义开发功能)

缺点:

- 监控选项少

- 缺乏Ceph管理功能

Ceph-Dash 是用 Python 开发的一个Ceph的监控面板,用来监控 Ceph 的运行状态。同时提供 REST API 来访问状态数据。

优点:

- 易部署

- 轻量级

- 灵活(可以自定义开发功能)

官方的部署系统有deploy-ceph 使用很简单明了。

Q6: 对于扩容/缩容 是否平滑 ,有影响吗?

A:

扩容/缩容 会涉及到数据的迁移,对于客户端理论上是不影响的,数据都会正常访问和写入。

不过,如果内部数据迁移io太频繁,可能会影响客户端io的响应时间,延迟会拉高。

需要控制好内部的频率和速度。

Q7: 故障转移需要手动修复吗,怎么做的?

A:

ceph的强大之处就在于 能够自我修复,自愈。不过是从节点异常挂掉,还是数据均衡,还是集群数据清洗等策略,都是ceph内部自我修复完成,不需要人工介入。

例如,副本节点挂掉 内部会自动同进行均衡把副本数据通过到其他节点,保证数据三副本。

Q8: CephFS的Kernel Client稳定性和性能如何?

A:

单个mds性能 fuse模式5000ops/s 左右, kernel模式8000ops/s 左右。

kernel client 在4.x 以下的内核版本,存储很多坑和问题。

官方建议升级内核版本到4.x以上,社区也有部分大厂升级到了新内核版本,稳定性还是不错的。

建议如果用kernel client模式,升级内核到4.x以上,

否则推荐使用fuse模式。

Q9: cephfs对文件数量有限制么?

A:

对文件数量没有限制,但是单个目录的子文件 默认是10w个文件。如果超过就会报错,可以通过相关参数修改。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190117B05BN700?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券