block storage RBD 是 Ceph 的块存储方案，最近需要在一台 Linux 服务器上挂载 Ceph 镜像，做法和 Kubernetes 挂 RBD 很像，但部分操作由于 Kubernetes...安装 Ceph 要挂载 RBD 磁盘的 Linux 服务器首先要有 Ceph 的客户端，也就是 RBD 的客户端，以及一些 RBD 专用的 kernel module，毕竟这是要通过网络走特定的协议来完成的磁盘挂载...创建和挂载磁盘 上一步，已经在要挂载 RBD 的 Linux 服务器上安装好了 Ceph，接下来的操作在要挂载 Ceph RBD 磁盘的 Linux 服务器上操作即可。...参数指定的是 RBD 镜像的功能特性，很多功能特性只有高版本的 Linux kernel 才支持，甚至有些都没有 kernel 版本支持，所以只打开最基本的 layering 即可。...Mismatch Error on Ceph Kernel Client Linux挂载RBD ceph分布式存储实战（4）——ceph存储配置（映射RBD镜像到客户端）
默认开启了rbd的一些属性 [root@ceph1 ~]# ceph --show-config|grep rbd|grep features rbd_default_features = 61 RBD...61的意思是上面图中的bit码相加得到的值 对rbd进行内核的map操作 [root@ceph1 ~]# rbd map mytest rbd: sysfs write failed RBD image...You can disable features unsupported by the kernel with "rbd feature disable"....In some cases useful info is found in syslog - try "dmesg | tail" or so. rbd: map failed: (6) No such...feature disable {poolname}/{imagename} {feature} 如果不想动态的关闭，那么在创建rbd之前，在配置文件中设置这个参数即可 rbd_default_features
libguestfs 对 rbd 的支持 libguestfs 对 rbd 的支持是从 1.21.21 这个版本开始的1，并且测试并不充分2, 这个版本也是13年5月份才发布的。...所以早期时候，文档中建议关掉 inject 功能，是确实 libguestfs 不支持RBD上面的镜像。
1、查看rbd模块：modinfo rbd 2、加载rbd模块：modprobe rbd 3、创建10GB块设备：rbd create test_img --size 10240 4、查看创建的块设备...：rbd list /// rbd info test_img 5、把test_image块设备映射到操作系统：rbd map test_img 6、查看系统中已经映射的块设备：rbd showmapped...12、查看image：rbd info poolname/image1 13、//在创建image时指定object对象大小，默认4KB rbd create poolname/image2 -...//创建快照：rbd snap create poolname/image1@image1_snap 16、查看：rbd snap list poolname/image1 17、克隆：rbd snap...：rbd flatten rbd/image2 18、导出image：rbd export poolname/image1 tmpimage1_export 导入：rbd import tmpimage1
[root@node1 ~]# rbd -p images ls 12afb7d8-3f76-4792-89b5-6ff1be87e350 25a95d74-a946-4056-bfcd-0e8a77b4d2bd...48.01 GB 最小磁盘大小 0 最小内存 0 磁盘格式 RAW 容器格式 BARE 创建于 4/29/19 4:45 PM 更新于 4/29/19 5:02 PM [root@node1 ~]# rbd
2.1.2 导入快照 rbd import-diff testimage_now test_pool/test_image 2.1.3 流程图 ?...v3 rbd export-diff test_pool/test_image@v3 testimage_v3 #export snap v4 rbd export-diff test_pool...导入快照 #import snap v1 rbd import-diff testimage_v1 test_pool/test_image #import snap v2 rbd import-diff...#import snap v4 rbd import-diff testimage_v4 test_pool/test_image #import snap v5 rbd import-diff...) rbd import-diff testimage_v2_v3 test_pool/test_image #import (snap v3 - snap v4) rbd import-diff
常用操作 2.1 查看pool里所有镜像 $ rbd ls rbd 03aa248c-0de5-45e5-9c2b-5fe26b230275 97ee910f-8427-4b58-9b6a-4ed3df7049d0...info -p rbd --image test-ui-2-2d0cffe7-31ab-4170-b2df-35bbaf46c0ed rbd image 'test-ui-2-2d0cffe7-31ab...create -p rbd --size 1000 lihang $ rbd -p rbd info lihang rbd image 'lihang': size 1000 MB in...rm -p rbd lihang Removing image: 100% complete...done. 2.5 调整pool里镜像的尺寸 $ rbd resize -p rbd --size 20000...lihang Resizing image: 100% complete...done. 2.6 为pool里镜像创建快照 $ rbd snap create rbd/lihang@test $
, fast-diff, deep-flatten，除了 layering，其他 linux kernel 4.4 均不支持，但也不是必须通过升级内核来解决该问题，也可以修改 RBD 参数 rbd_default_features... config set rbd_default_features 1 (该命令需要在 Ceph 的控制节点上执行) 接下来讲一下升级 Linux kernel 的方法...，Linux kernel 全部可用版本的下载地址为： http://kernel.ubuntu.com/~kernel-ppa/mainline/ 本文选用了 4.15 最新的分支：v4.15.18...，需要下载两个文件： linux-headers-4.15.18-041518_4.15.18-041518.201804190330_all.deb linux-image-4.15.18-041518...参考文档 BLOCK DEVICES AND OPENSTACK Ubuntu 16.04 Linux系统内核升级方法 OpenStack: Compute service
查找image指纹信息 $ rbd info test_pool/test_image rbd image 'test_image': size 102400 MB in 25600 objects...order 22 (4096 kB objects) block_name_prefix: rbd_data.12c074b0dc51 #指纹就是12c074b0dc51 format...根据指纹找到这个image的object rados -p test_pool ls | grep 12c074b0dc51 rbd_data.12c074b0dc51.00000000000000bd...rbd_data.12c074b0dc51.0000000000000060 3....根据object 查找对应的osd位置 $ ceph osd map test_pool rbd_data.12c074b0dc51.0000000000000092 osdmap e403 pool
1.rbd ls 查看ceph默认资源池rbd里面的镜像 2.rbd info xxx.img 查看xxx.img的具体的具体信息 3.rbd rm xxx.img 删除xxx.img 4....win2008Snap 的快照） rbd snap create --snap win2008Snap rbd/win2008_test.img 10.保护快照 rbd snap protect rbd...中) rbd clone rbd/win2008_test.img@win2008Snap rbd/newtest.img 12.快照去保护 rbd snap unprotect rbd/win2008..._test.img@win2008Snap 15.还原快照克隆出来的镜像 rbd flatten rbd/test.img 16.查看子镜像 rbd children 资源池名/镜像名@快照名 rbd...children rbd/test.img@test_snp.img 17.将块设备映射到本地 rbd map disk01 –pool rbd –id admin 18.查看所有的映射 rbd
引言 这篇文章主要介绍了 RBD 在 Ceph 底层的存储方式，解释了 RBD 的实际占用容量和 RBD 大小的关系，用几个文件的例子演示了文件在 RBD (更恰当的是 xfs)中的存储位置，最后组装了一个...ls foo.rbd rbd_directory 再查看这两个文件里面的内容： [root@ceph ~]# rados -p rbd get foo.rbd foo.rbd [root@ceph...1024 [root@ceph ~]# rados -p rbd ls bar.rbd foo.rbd rbd_directory [root@ceph ~]# rados -p rbd get rbd_directory...-p rbd get rbd_id.foo rbd_id.foo [root@ceph ~]# rados -p rbd get rbd_directory rbd_directory [root@ceph...最简单的话来总结下RBD：Client从RBD内部看，RBD是一个整体，Ceph从RBD外部看，是若干的碎片。 Enjoy It!
rbd export-diff, rbd import-diff命令来完成image备份到Cluster B。...rbd 下的相同image上； 在Cluster A/B上创建rbd/testimage rbd create -p rbd --size 10240 testimage 在准备备份image前，暂停....full Compress mode activated # rbd export rbd/zp /tmp/rbd/zp/zp_UTC20170119T092933.full Exporting image...本测试用例还原步骤就是 rbd import zpbk@UTC20170119T100339.full zpnew rbd snap create zpnew@UTC20170119T100339 rbd...RBD Mirroring 3.1 介绍 Ceph新的rbd mirror功能支持配置两个Ceph Cluster之间的rbd同步 3.2 原理 利用Journal日志进行异步备份，Ceph自身带有的rbd
The RBD mirroring 依赖两个新的rbd的属性 journaling: 启动后会记录image的事件 mirroring: 明确告诉rbd-mirror需要复制这个镜像 也有命令可以禁用单独的某个镜像...---- 配置实践部分 先介绍下一些简单的概念 rbd-mirror 进程 rbd-mirror进程负责将镜像从一个Ceph集群同步到另一个集群 根据复制的类型，rbd-mirror可以在单个集群上或者是镜像的两个集群上都运行...语法： rbd mirror pool enable 在lab8106主机上执行: rbd mirror pool enable rbd image 在lab8107...主机上执行： rbd mirror pool enable rbd image 上面的操作是对rbd存储池启动image模式的mirror配置 如果需要关闭： 语法： rbd mirror pool disable...[root@lab8106 ceph]# rbd info rbd/image-1 rbd image 'image-1': size 1024 MB in 256 objects order 22
sda/sdb 192.168.31.12 knode02 mons、mgrs、osds、rgws、mdss、clients sda/sdb 操作系统版本：Rocky Linux...20.10.6 knode01 Ready 21d v1.21.0 192.168.31.11 Rocky Linux.../rbd-csi-nodeplugin created clusterrole.rbac.authorization.k8s.io/rbd-external-provisioner-runner created.../rook-csi-rbd-provisioner-sa-psp created clusterrolebinding.rbac.authorization.k8s.io/rbd-csi-nodeplugin...enabled application 'rbd' on pool 'k8s' [root@kmaster kubernetes]# 创建rbd [root@master ~]# rbd create
2、环境、软件准备 本次演示环境，我是在虚拟机 Linux Centos7 上操作，通过虚拟机完成 Ceph 存储集群搭建以及 Kubernetes 集群的搭建，以下是安装的软件及版本： Centos：...rbd 类型为 rbd 的 storage-class 看下。...rbd 存储。...我们来重新创建一下名称为 rbd 类型为 ceph.com/rbd 的 storage-class 看下。...创建 rbd-dyn-pvc-pod2 的 Pod 挂载动态创建的 rbd 到指定目录 /mnt/ceph-dyn-rbd-pvc2/busybox。
RBD Client Metrics Table 监控类型 监控项 说明 级别 AsyncMessenger* msgr_recv_messages 网络接收消息 * msgr_send_messages...RBD Finisher-RadosClient Metrics Table 监控类型 监控项 说明 级别 finisher-radosclient queue_len 队列长度 * complete_latency.avgcount...RBD ObjectCacher-librbd-{id}-{pool}-{image} Metrics Table 监控类型 监控项 说明 级别 objectcacher-librbd-{id}-{pool...RBD librbd-{id}-{pool}-{image} Metrics Table 监控类型 监控项 说明 级别 librbd-{id}-{pool}-{image} rd 读操作数 * rd_bytes
rbd命令把镜像导入ceph中（但是直接导入是不能用的， 因为没有经过 openstack,openstack 是看不到的） 导入镜像 命令：rbd import 路径和镜像名 -p 池 --image...导入后的镜像名 [root@node1 ~]# rbd import /root/wocao.img -p images --image wocaoxin rbd: --pool is deprecated...for import, use --dest-pool rbd: --image is deprecated for import, use --dest Importing image: 100%...查看导入的镜像 [root@node1 ~]# rbd ls images a56330e7-79d7-4639-a68f-366ac344bfe2 eccfee07-c2c9-4e6e-96a2-b4350162ec41
23:13:10.266865 7efbfb7fe700 -1 librbd::image::CreateRequest: pool not configured for self-managed RBD...snapshot support rbd: create error: (22) Invalid argument 这个错我之前也没见过，并且因为很少用到快照，所以可能也就没有触发这个问题,在查看了一些资料以后...create testpool2 8 pool 'testpool2' created 我们在testpool1当中创建一个image，testpool2保留为空 [root@lab8106 ~]# rbd...RBD snapshot，创建的时候会去检查是否是自管理模式 这个地方有个配置项目是 rbd_validate_pool = true 我们把这个参数改成false，然后再次创建 [root@lab8106...~]# rbd -p testpool2 create testimag3 --size 4000 就可以创建了 本篇共出现了两次抛错，所以，这个是需要我们去做好选择的,总结下大概是这样的 ?
1、通过两种方式访问RBD：librbd 、krbd Librbd基于librados的用户态接口库。krbd集成在LINUX中。...2、RBD的块设备称为image image.png 3、RBD的三种存储方式 image.png 4、image image.png 5、RBD支持快照和克隆
在本文中，我们将深入探讨 Ceph RBD 的 QoS 特性，重点关注如何验证和量化 RBD QoS 设置的效果。...测试步骤 在ceph 14版本开始支持rbd的qos 详细配置参数可以参考https://docs.ceph.com/en/latest/rbd/rbd-config-ref/ ceph rbd的qos...这里解释下rbd_qos_write_iops_burst_seconds=1表示在达到写入 IOPS 限制（由 rbd_qos_write_iops_limit 参数设置）之后，RBD 图像可以以突发模式继续写入操作的时间长度...--ioengine=libaio: 使用 Linux AIO（异步 I/O）作为 I/O 引擎。...config pool set libvirt-pool rbd_qos_iops_limit 0 rbd config pool set libvirt-pool rbd_qos_bps_limit
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
