提示：Red Hat Ceph存储还支持在Red Hat OpenStack平台计算节点上部署OSDs、MONs、RGWs，但不支持部署mon和osd。
之前用的是 ceph-deploy 部署 ceph 集群，在官网的最新介绍中有如下描述：
ceph-ansible Installation tutorial（ceph-ansible安装教程） https://cloud.tencent.com/developer/article/2297745
Red Hat Ceph存储池池是Red Hat Ceph存储集群用于存储对象的逻辑分区。
与集中式存储相反，分布式存储通常采用存储单元集群的形式，并具有在集群节点之间进行数据同步和协调的机制。分布式存储最初是由Google提出的，其目的是通过廉价服务器解决大规模，高并发情况下的Web访问问题。
Ceph自动化部署工具现状 ceph-deploy 已经处于被淘汰边缘(官方现在主推ceph-ansible)，deploy新手练手可以，配置管理太弱鸡，每次overwrite-conf都需要很大勇气。 ceph-ansible 看起来很美好，但是无法完美适配手头各种差异化的部署需求，看完源码，把里面核心的模块功能抽取出来，完全可以自己做，没必要拿官方的ansible。 ceph-deploy其实也是通过ssh去控制各个节点的ceph-disk命令工具执行，但是ceph-disk又被官方弃坑，最新版本推荐使
对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》
ceph-ansible & ceph-mon & ceph-mgr & ceph-radosgw
1 知己知彼，百战不殆 剖析业务IO模型 了解业务基本存储模型： 最高并发多少，最高读写带宽需求。 并发多少决定了在知道单个RGW最大并发数上限的前提下你需要用多少个RGW的实例去支撑这些并发。 最高读写带宽决定了你要用多少OSD去支撑这么大的读写带宽，同时还要考虑endpoint入口处的带宽是否满足这个需求。 客户端分布在内外还是外网。 客户端主要分布在外网，意味着在公网这种复杂的网络环境下，数据读写会受到一些不可控因素的影响，所以现在做对象存储的公有云都不敢把自己的带宽和延时和并发数告诉你。 客户端分布
本文由Ceph中国社区-穆艳学翻译、刘源校稿，英文出处：Red_Hat_Ceph_Storage-2-Ceph_Object_Gateway_for_Production 欢迎加入CCTG 目录 第1章 简介 1.1.适用人群 1.2.前题假设 1.3.涵盖内容 第2章 集群规划 2.1.识别应用场景 2.2.选择数据持久化方法 2.3.考虑多站点部署 第3章 硬件考虑 3.1.存储规模 3.2.存储密度 3.3.网络硬件 3.4.UPS 3.5.依业务场景的硬件选型 3.6.存储桶索引使用SSD 3.7
关于 Ceph 更详细的介绍和环境部署可以参考这篇文章：分布式存储系统 Ceph 介绍与环境部署
生产环境建议多网络模式，测试环境可以多网络，也可以单网络模式，需要注意的是的，测试服务器4个磁盘，一个系统盘。2个osd（vdb，vdc），一个日志盘(vdd)
容器和ceph的结合已经在一些生产环境当中做了尝试，容器的好处就是对运行环境的一个封装，传统的方式是集成为ISO，这个需要一定的维护量，而容器的相关操作会简单很多，也就有了一些尝试，个人觉得如果玩的转容器可以考虑，当然得懂ceph，不然两套系统在一起，问题都不知道是哪个的，就比较麻烦了
当前，以 OpenStack 为代表的 IaaS 开源技术和以 Docker 为代表的 PaaS/CaaS 容器技术日益成熟，二者如何强强联合，一直是业界颇为关心的焦点领域。本文主要是和大家交流基于 Docker 容器运行和部署 OpenStack。 那么，安装 OpenStack 都有哪些方法呢？对于很多刚接触 OpenStack 的新人而言，安装无疑是一大挑战，同时也直接提高了学习 OpenStack 云计算的技术门槛。 安装 OpenStack 有哪些方式 1.DevStack 在相当长一段时间内，D
Ceph使用RADOS提供对象存储，通过librados封装库提供多种存储方式的文件和对象转换。外层通过RGW（Object，有原生的API，而且也兼容Swift和S3的API，适合单客户端使用）、RBD（Block，支持精简配置、快照、克隆，适合多客户端有目录结构）、CephFS（File，Posix接口，支持快照，社会和更新变动少的数据，没有目录结构不能直接打开）将数据写入存储。
查看安装状态，发现有一个警告，这是因为在之前的all.yml配置没有开启允许自动调整pool中的pg数pg_autoscale_mode: False，手动设置下即可
首先需要确认哪个磁盘发生了故障。可以通过Ceph的监控工具来检查每个磁盘的状态，例如ceph health、ceph osd tree和ceph osd status等命令可以用来检查集群的健康状态和每个OSD（Object Storage Device，对象存储设备）的状态。如果发现某个磁盘的状态是down或out，就需要更换这个磁盘。
我想在新的Kubernetes集群上安装Prometheus和Grafana，但为了使这些软件包能够工作，他们需要一些地方来存储持久数据。当我在Seagate担任云架构师时，我已经对Ceph进行了性能和规模测试，并且在过去的一年里玩过Rook，所以我决定安装Rook+Ceph，并将其用于Kubernetes集群的数据存储。
转载 https://cloud.tencent.com/developer/user/1021473/inventories
本文主要介绍ceph16版本集群节点系统磁盘故障后的集群恢复，虽然系统盘很多都是做了raid1，但从实际做的项目看，总是有很多未知意外发生，节点挂掉后，上面的mon和osd，mgr都会down掉，如果所在节点的mgr服务是激活状态，则其他节点所在的备用节点将会升级为激活状态。
Ceph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs)，Ceph在存储的时候充分利用存储节点的计算能力，在存储每一个数据时都会通过计算得出该数据的位置，尽量的分布均衡。目前也是OpenStack的主流后端存储，随着OpenStack在云计算领域的广泛使用，ceph也变得更加炙手可热。国内目前使用ceph搭建分布式存储系统较为成功的企业有华为，xsky，杉岩数据，中兴，华三，浪潮，中移动等。
开始前先说个事，半个月前有读者通过本博客的收款码进行打赏，数额不多，却是这个博客开通将近一年收到的第一笔打赏，在此表示感谢，很多读者反馈这个博客干货很多，看了有收获，这是我莫大的荣幸，接下来我也会一如既往地走干货路线，希望大家继续多多支持，也希望多点赠人玫瑰手有余香的行动，让我更有动力坚持下去
手动在目录/var/lib/ceph/bootstrap-osd/下新建删除文件正常，把ceph服务都重启了一遍还是这样。
client 无法链接mon的可能原因 1.连通性和防火墙规则。在MON主机上修改允许TCP 端口6789的访问。 2.磁盘空间。每个MON主机上必须有超过5%的空闲磁盘空间使MON和levelDB数据库正常工作。 3.MON没有工作或者离开选举，检查如上命令输出结果中的quorum_status和mon_status或者ceph -s 的输出来确定失败的MON进程，尝试重启或者部署一个新的来替代它。
Ansible是一款极其简单的开源的自动化运维工具，基于Python开发，集合了众多运维工具(puppet, cfengine, chef, func, fabric)的优点。实现了批量系统配置，批量程序部署，批量运行命令等功能。同时Ansible是基于模块工作，其实现批量部署的是ansible所运行的模块。
本篇是luminous一个新功能介绍，关于磁盘智能分组的，这个在ceph里面叫crush class，这个我自己起名叫磁盘智能分组，因为这个实现的功能就是根据磁盘类型进行属性关联，然后进行分类，减少了很多的人为操作
Ceph是一个开源存储平台，它提供高性能，可靠性和可伸缩性。它是一个免费的分布式存储系统，可为对象，块和文件级存储提供接口，而不会出现单点故障。
回到最初的Ceph运维工程师的问题，本系列讲述的是传统运维向新一代云运维转型之软件定义存储部分的转型，运维是企业业务系统从规划、设计、实施、交付到运维的最后一个步骤，也是重要的步骤。运维小哥最初的梦想搭建一个Ceph存储集群，对接云服务，底层存储实现高可用的数据访问架构。其中运维小哥经历了硬件选型、部署、调优、测试、高可用架构设计等的一系列转型的关卡学习，终于就要到最后的应用上线了。但是往往在生产环境中除了无单点、高可用的架构设计之外还需要平时做一些预案演练，比如：服务器断电、拔磁盘等问题，避免出现灾难故障影响业务正常运行。
ceph集群作为存储后端开始使用后扩osd时，每次添加完后等ceph集群恢复正常后再继续添加下一个，避免同时添加2个及以上的osd。
ceph 客户端从ceph monitor获取cluster map,然后执行在pool中的pg执行IO操作。cursh ruleset和pg的数量是决定数据对象放在哪里的核心因素。获取到最新的cluster map，ceph客户端是不知道数据对象在哪里。
在我们的ceph集群中，可能不只有sata盘或者ssd盘，有些时候服务器上同时插了ssd和sata盘用作osd，那如果我们按照默认的crush分布规则，那会使所有pg均分在ssd和sata盘上，造成sata盘的存储空间浪费和整个ceph集群的性能浪费，其实我们可以改变ceph的默认存储规则，来使那些io要求较高的数据存储在由ssd的osd组成的存储池上，将备份数据或者时效性要求不高的数据存储在由sata的osd组成的存储池上，既提高了性能，又可以减少较大数据量存储的成本。
要学习使用Ceph，首先需要有一个Ceph集群，本文通过ceph-deploy一个自动化部署Ceph的工具部署一个Ceph集群，掌握Ceph集群部署的方法。
资料(传送门)[http://bbs.ceph.org.cn/question/363]
存储根据其类型，可分为块存储，对象存储和文件存储。在主流的分布式存储技术中，HDFS/GPFS/GFS属于文件存储，Swift属于对象存储，而Ceph可支持块存储、对象存储和文件存储，故称为统一存储。
Cephadm使用容器和systemd安装和管理Ceph集群，并与CLI和仪表板GUI紧密集成。
之前我们已快速部署好一套Ceph集群（3节点），现要测试在现有集群中在线方式增加节点
要增加一个 OSD，要依次创建数据目录、把硬盘挂载到数据目录、把 OSD 加入集群、然后把它加入 CRUSH Map。
创建一个新集群后，PG 的状态一直处于 active ， active + remapped 或 active + degraded 状态， 而无法达到 active + clean 状态 ，那很可能是你的配置有问题。
这些集群范围内的配置参数定义在Ceph的配置文件中，因此任何一个Ceph守护进程启动时都将会遵循已定义的设置。缺省的配置文件是ceph.conf，放在/etc/ceph目录下。这个配置文件有一个global部分和若干个服务类型部分。任何时候一个Ceph服务启动，都会应用[gloabl]部分，以及进程特定部分的配置。一个Ceph配置文件有多个部分，如下图所示。
Ceph 是一个将数据存储在单一分布式计算机集群上的开源软件平台。当你计划构建一个云时，你首先需要决定如何实现你的存储。开源的 Ceph 是红帽原生技术之一，它基于称为 RADOS 的对象存储系统，用一组网关 API 表示块、文件、和对象模式中的数据。由于它自身开源的特性，这种便携存储平台能在公有云和私有云上安装和使用。Ceph 集群的拓扑结构是按照备份和信息分布设计的，这种内在设计能提供数据完整性。它的设计目标就是容错、通过正确配置能运行于商业硬件和一些更高级的系统。
ceph是一个分布式存储系统，提供对象存储，块存储，文件存储，Ceph集群至少需要一个ceph monitor和两个OSD守护进程，而运行ceph文件系统客户端时，则必须要有元数据服务器MDS
Ceph和OpenStack是一个非常有用和非常受欢迎的组合。 不过，部署Ceph / OpenStack经常会有一些容易避免的缺点 - 我们将帮助你解决它们
之前已详细介绍了Ceph分布式存储基础知识，下面简单记录下Centos7使用Ceph-deploy快速部署Ceph环境： 1）基本环境
原因：2017年5月4日 星期四 理解Ceph。 说明：阅读书籍。 官方文档：http://docs.ceph.com/docs/master/rbd/rbd-openstack/ 块存储、文件储存、对象存储：http://limu713.blog.163.com/blog/static/15086904201222024847744/ 可靠性、低成本、可扩展 SDS(软件定义存储-softwate defined storage) SDS可以降低存储基础设施的TCO（Total Cost of O
Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里，比较常用到的是Ceph的块设备存储，比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储，比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。
nearfull osd(s) or pool(s) nearfull 此时说明部分osd的存储已经超过阈值，mon会监控ceph集群中OSD空间使用情况。如果要消除WARN,可以修改这两个参数，提高阈值，但是通过实践发现并不能解决问题，可以通过观察osd的数据分布情况来分析原因。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
