Ceph 集群监控和告警系统搭建的一些思路。...当然官方也提供了 Grafana 的 Dashboard 来快速搭建 Ceph 的内部监控系统，甚至通过 Ceph 自身的 Dashboard 也能观察到很多指标，这就是从内在的角度去分析 Ceph 的一些性能指标了...，也有利于用户快速搭建 Ceph 的监控系统。...，我们还是需要一个系统去稳定记录这些情况，方便我们监控集群的健康程度，有时候可能是机器性能到达瓶颈了，有时候可能是磁盘故障了，这些原因最好能有一个外部系统去记录下来，方便以后复盘和定期的检查，已达到及早采取合适的措施...Health 暴露的一些文字类的信息，来丰富告警系统的信息，来达到让运维随时都可以知道 Ceph 集群的健康情况，这为故障修复争取了时间。
《深入理解计算机系统》这本书的质量着实很高，内容丰富充实，课后的实验也都很有意思，也有一定的难度。当时做这鬼东西也是花了我不少时间最终还有几道题去网上查阅了答案才写完，勉强看看吧。
来说，可以测试文件系统，基于文件系统之上测试，可以测试内核rbd，将rbdmap到本地格式化以后进行测试，或者基于librbd直接对rbd进行测试，这个是目前都已经有的测试场景，这些不在本篇的讨论的范围内...为什么会有这个，因为在以前，如果你要测试一块磁盘是不是适合ceph使用的时候，都是直接对挂载的磁盘进行一些测试，这个是基于文件系统的，并没有真正的模拟到ceph自己的写入模型，所以在开发人员的努力下，模拟对象的写入的驱动已经完成了.../ [root@lab8106 newceph]# git clone git://github.com/ceph/ceph.git [root@lab8106 newceph]# cd ceph [root...@lab8106 ceph]#git checkout -b myfenzhi v11.0.2 [root@lab8106 ceph]#git submodule update --init --recursive...将库路径让系统识别 export LD_LIBRARY_PATH=/root/newceph/build/lib/ 编译fio [root@lab8106 ~]# cd /root/newceph/
前提 一套系统的最低要求是可恢复，也就是数据不丢失，但是在各种各样的原因下，整套系统都有被毁掉的可能，一直以来有个观点就是存储是需要两套的，一般情况下很难实现，但是如何把故障发生的概率降低到最低，这个是我们需要考虑的问题...最近在社区群里面又听闻一个案例，一套系统的文件系统被重置掉了，也就是fs被重建了，实际上这属于一个不应该有的操作，但是已经发生的事情，就看怎么样能在下次避免或者把损失降到最低，对于hammer版本来说...[root@lab8106 ~]# umount /mnt [root@lab8106 ~]# systemctl stop ceph-mds@lab8106 [root@lab8106 ~]# ceph...新创建一个文件系统 [root@lab8106 ~]# ceph fs new ceph metadata data new fs with metadata pool 1 and data pool...mds]# systemctl stop ceph-mds@lab8106 [root@lab8106 mds]# ceph mds fail 0 [root@lab8106 mds]# ceph fs
[root@lab8106 ~]# yum install ceph-deploy ceph 检查版本 [root@lab8106 ~]# ceph -v ceph version 12.1.0 (262617c9f16c55e863693258061c5b25dea5b086...的命令的输出发生了改变(显示如下) [root@lab8106 ceph]# ceph -s cluster: id: 49ee8a7f-fb7c-4239-a4b7-acf0bc37430d...health: HEALTH_OK services: mon: 1 daemons, quorum lab8106 mgr: lab8106(active) osd...，先按这个设置即可，默认的端口是7000 重启mgr服务 [root@lab8106 ceph]# systemctl restart ceph-mgr@lab8106 检查端口 [root@lab8106...如果配置了cephfs文件系统后，会有这个文件系统相关的监控 ?
前言 在ceph里面使用rbd接口的时候，存储的数据在后台是以固定的prifix的对象存在的，这样就能根据相同的前缀对象去对image文件进行拼接或者修复 在文件系统里面这一块就要复杂一些，本篇就写的关于这个...，文件和对象的对应关系是怎样的，用系统命令怎么定位，又是怎么得到这个路径的 实践 根据系统命令进行文件的定位 写入测试文件 dd if=/dev/zero of=/mnt/testfile bs=4M...' -> pg 2.9865f84d (2.d) -> up ([1], p1) acting ([1], p1) [root@lab8106 mnt]# ll /var/lib/ceph/osd/ceph...-1/current/2.d_head/10000001188.00000000__head_9865F84D__2 -rw-r--r-- 1 ceph ceph 4194304 Apr 20 09:35.../var/lib/ceph/osd/ceph-1/current/2.d_head/10000001188.00000000__head_9865F84D__2 根据上面的命令已经把文件和对象的关系找到了
关于中兴新支点系统 中兴新支点操作系统基于Linux稳定内核，分为嵌入式操作系统（NewStart CGEL)、服务器操作系统（NewStart CGSL）、桌面操作系统（NewStart NSDL），...目前，中兴新支点操作系统已在国内外各大电信运营商、国有大中型企业及电子政务解决方案中投入使用，服务于交换网络、核心网络、骨干网络、智慧城市、视频监控等系统底层。 以上转自某乎。...中兴新支点系统会默认安装一些组件（如libvirt、qemu），为避免安装ceph时与其他包产生依赖冲突问题，安装系统的时候可以选择最小安装。项目中其他需要安装的组件后面一起安装。...我这边除了ceph，libvirt的包也会用到，系统默认安装libvirt的版本较低，我这里都采用手动方式部署并制作离线的rpm包。 yum源配置 中兴新支点系统目前没发现有官方的在线yum源地址。...在node1添加monitor 为集群生成唯一的fsid，fsid是群集的唯一标识符，代表 Ceph 存储群集主要用于 Ceph 文件系统的文件系统 ID uuidgen 创建ceph配置文件，将生成的
，当然得懂ceph，不然两套系统在一起，问题都不知道是哪个的，就比较麻烦了 本篇是基于之前我的填坑群里面的牛鹏举的一个问题，他的环境出现了创建osd的时候权限问题，我这边没遇到，现在实践了一遍，感觉应该是之前目录提前创建了的问题...-4f93-9f54-baca2976a47b ceph-mon: created monfs at /var/lib/ceph/mon/ceph-lab8106 for mon.lab81 提示成功了.../bash 修改集群的副本数 docker exec -it mon ceph osd pool set rbd size 1 查看集群状态 [root@lab8106 ceph]# docker exec...mon.lab8106 low disk space monmap e2: 1 mons at {lab8106=192.168.8.106:6789/0} election...ceph]# docker commit 9b269bf751f9 ceph/daemon 再次启动容器,并且检查内容，可以看到已经修改好了 [root@lab8106 ceph]# docker run
内部来说还是会产生对象的，只是这个在vdo的文件系统来看是不占用物理空间的 对镜像做下copy [root@lab101 ~]# rbd cp testvdorbd testvdorbdclone [root...ceph]# mount /dev/mapper/sdb1 /osd1/ [root@lab101 ceph]# mount /dev/mapper/sdb2 /osd2/ [root@lab101 ceph...]# chown ceph:ceph /osd1 [root@lab101 ceph]# chown ceph:ceph /osd2 [root@lab101 ceph]# ceph-deploy osd...prepare lab101:/osd1/ [root@lab101 ceph]# ceph-deploy osd prepare lab101:/osd2/ [root@lab101 ceph]#...ceph-deploy osd activate lab101:/osd1/ [root@lab101 ceph]# ceph-deploy osd activate lab101:/osd2/ 写入测试数据
这是我自学 MIT6.S081 操作系统课程的 lab 代码笔记第二篇：System calls。此 lab 大致耗时：4小时。...课程地址：https://pdos.csail.mit.edu/6.S081/2020/schedule.html Lab 地址：https://pdos.csail.mit.edu/6.S081/2020...Lab 2: System calls In this lab you will add some new system calls to xv6, which will help you understand...添加一个系统调用 trace 的功能，为每个进程设定一个位 mask，用 mask 中设定的位来指定要为哪些系统调用输出调试信息。...p->trapframe->a0 = syscalls[num](); // 通过系统调用编号，获取系统调用处理函数的指针，调用并将返回值存到用户进程的 a0 寄存器中 // 如果当前进程设置了对该编号系统调用的
FileStore 将对象存储为块设备基础上的文件系统（通常是 XFS）中的文件。...BlueStore 将对象直接存储在原始块设备上，免除了对文件系统层的需要，提高了读写操作速度,通过直接操作底层块设备来管理数据，而不是传统的文件系统。...预写式日志执行日志记录功能，并记录所有事务 预写式日志（Write-Ahead-Log，简称 WAL）: 是一种常见的数据库和文件系统技术，用于提高数据持久性和可靠性。...例如，如果您想在Ceph中创建一个文件系统或块设备，就必须将其存储在数据池中。数据池通常会经过复制或编码以提高容错性和可靠性。...ceph orch daemon add osd serverc.lab.example.com:/dev/vde ceph orch daemon add osd serverc.lab.example.com
- serverc.lab.example.com - serverd.lab.example.com - servere.lab.example.com --- service_type...该设备不能包含文件系统 设备不能包含 Ceph BlueStore OSD 设备大小必须大于5GB ceph orch device ls 可以列出集群中可用的 osd，--wide 选项可以查看更多详情...~]# ceph orch device ls --hostname=servere.lab.example.com Hostname Path Type...:/dev/vde Created osd(s) 3 on host 'servere.lab.example.com' [root@clienta ~]# ceph orch daemon add...~]# ceph orch device ls --hostname=servere.lab.example.com Hostname Path Type
上一篇文章给大家简单介绍了GlusterFs(查看),今天再给大家来一个目前最流行的分布式存储系统Ceph的介绍，Ceph是开一个开源的项目，它的创始人是Sage Weil，作为当时的博士论文一部分，...目前Ceph已经得到很多厂商的支持，具有很好的生态系统，它同时具有自己的开源社区，活跃度极高。
Ceph 分布式存储系统 Ceph 是一种高度可扩展的分布式存储解决方案，提供对象、文件和块存储。...在每个存储节点上，您将找到 Ceph 存储对象的文件系统和 Ceph OSD（对象存储守护程序）进程。...Rook 使用 Kubernetes 原语使 Ceph 存储系统能够在 Kubernetes 上运行。...处理节点上所需的所有存储操作，例如附加网络存储设备，安装卷和格式化文件系统。 该 rook 容器包括所有必需的 Ceph 守护进程和工具来管理和存储所有数据 - 数据路径没有变化。.../ 执行 yaml 文件部署 rook 系统组件： [centos@k8s-master ceph]$ kubectl apply -f operator.yaml namespace/rook-ceph-system
上执行 [root@lab8106 ceph]# scp /etc/ceph/ceph.conf lab8107:/etc/ceph/local.conf [root@lab8106 ceph]# scp.../etc/ceph/ceph.client.admin.keyring lab8107:/etc/ceph/local.client.admin.keyring [root@lab8106 ceph].../etc/ceph/local.client.admin.keyring 在lab8107上执行： [root@lab8107 ceph]# scp /etc/ceph/ceph.conf lab8106...:/etc/ceph/remote.conf [root@lab8107 ceph]# scp /etc/ceph/ceph.client.admin.keyring lab8106:/etc/ceph...root@lab8106 ceph]# chown ceph:ceph -R /etc/ceph [root@lab8107 ceph]# chown ceph:ceph -R /etc/ceph 检验上面设置是否完成
前言 在看集群的配置文件的时候看到ceph里面有一个graylog的输出选择，目前看到的是可以收集mon日志和clog，osd单个的日志没有看到，Elasticsearch有整套的日志收集系统，可以很方便的将所有日志汇总到一起...，这个graylog的收集采用的是自有的udp协议，从配置上来说可以很快的完成，这里只做一个最基本的实践 系统实践 graylog日志系统主要由三个组件组成的 MongoDB – 存储配置信息和一些元数据信息的...用来存储Graylog server收取的log messages的，Elasticsearch (>= 2.x) Graylog server – 用来解析日志的并且提供内置的web的访问接口 总结 这个系统支持原生的接口接入...，未来应该可以支持更多类型的日志倒入，这样相当于很容易就部署了一个日志搜索系统了，当然还有很多其他的方案，从功能完整性来说Elasticsearch要比这个强大，这套系统目前来看配置是非常的简单，也是一个优势
一 Ceph文件系统 1.1 概述 CephFS也称ceph文件系统，是一个POSIX兼容的分布式文件系统。...实现ceph文件系统的要求： 需要一个已经正常运行的ceph集群； 至少包含一个ceph元数据服务器（MDS）。...1.2 相关名词 Ceph：元数据服务器（ MDS ），为 Ceph 文件系统存储元数据。...1.4 挂载ceph文件系统的方式 使用本地系统内核驱动程序进行挂载 使用ceph fuse进行挂载 二 文件系统使用 2.1 查看集群 1 [root@deploy ~]# su - manager...从用户空间（ FUSE ）挂载Ceph文件系统前，确保客户端有一份Ceph配置副本、和具备Ceph元数据服务器的密钥环，本实验通过以上命令直接从deploy节点推送相关配置。
停止OSD.0 [root@lab8106 ~]# systemctl stop ceph-osd@0 [root@lab8106 ~]# ceph osd down 0osd.0 is already...将数据换个目录挂载，换个新盘挂载到原路径 [root@lab8106 ~]# mkdir /var/lib/ceph/osd/ceph-0.old/ [root@lab8106 ~]# umount /...var/lib/ceph/osd/ceph-0 [root@lab8106 ~]# mount /dev/sdb1 /var/lib/ceph/osd/ceph-0.old/[root@lab8106.../var/lib/ceph/osd/ceph-0.old --target-data-path /var/lib/ceph/osd/ceph-0 --op dup [root@lab8106 ~]#...block [root@lab8106 ceph]# ll /var/lib/ceph/osd/ceph-4/ -al|grep block lrwxrwxrwx 1 ceph ceph 58 May
ceph]# ceph-deploy osd prepare lab8106:/dev/sde1:/dev/sdf1 ··· [lab8106][WARNIN] adjust_symlink: Creating...osd activate lab8106:/dev/sde1:/dev/sdf ··· [lab8106][WARNIN] ceph_disk.main.Error: Error: ['ceph-osd...，我们检查下权限 [root@lab8106 ceph]# mount /dev/sde1 /mnt [root@lab8106 ceph]# ll /mnt/ total 32 -rw-r--r--...[root@lab8106 ceph]# chown ceph:ceph /dev/sdf1 [root@lab8106 ceph]# ceph-deploy osd activate lab8106...操作 ceph-deploy osd prepare lab8106:/dev/sde1:/dev/sdf1 ceph-deploy osd activate lab8106:/dev/sde1:/dev
的开源软件，提供了两种模式 增量：在给定备份时间窗口内基于rbd快照的增量备份 完全：完整映像导出时不包含快照 注意一致性：此工具可以生成rbd图像的快照，而不会感知到它们的文件系统的状态，注意下rbd...~]#git clone https://github.com/teralytics/ceph-backup.git [root@lab8106 ~]# cd ceph-backup [root@lab8106...ceph-backup]# python setup.py install 安装过程中会下载一些东西，注意要有网络，需要等待一会 准备配置文件 [root@lab8106 ceph-backup]#...mkdir /etc/cephbackup/ [root@lab8106 ceph-backup]# cp ceph-backup.cfg /etc/cephbackup/cephbackup.conf...config = /etc/ceph/ceph.conf backup mode = incremental check mode = no 执行多次进行增量备份以后是这样的 [root@lab8106
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播