Cephfs的文件存到哪里了

前言

在ceph里面使用rbd接口的时候,存储的数据在后台是以固定的prifix的对象存在的,这样就能根据相同的前缀对象去对image文件进行拼接或者修复

在文件系统里面这一块就要复杂一些,本篇就写的关于这个,文件和对象的对应关系是怎样的,用系统命令怎么定位,又是怎么得到这个路径的

实践

根据系统命令进行文件的定位

写入测试文件

dd if=/dev/zero of=/mnt/testfile bs=4M count=10

查看文件的映射

[root@lab8106 mnt]# cephfs /mnt/testfile  mapWARNING: This tool is deprecated.  Use the layout.* xattrs to query and modify layouts.
    FILE OFFSET                    OBJECT        OFFSET        LENGTH  OSD              0      10000001188.00000000             0       4194304  1
        4194304      10000001188.00000001             0       4194304  0
        8388608      10000001188.00000002             0       4194304  1
       12582912      10000001188.00000003             0       4194304  0
       16777216      10000001188.00000004             0       4194304  1
       20971520      10000001188.00000005             0       4194304  0
       25165824      10000001188.00000006             0       4194304  0
       29360128      10000001188.00000007             0       4194304  1
       33554432      10000001188.00000008             0       4194304  1
       37748736      10000001188.00000009             0       4194304  0

查找文件

[root@lab8106 mnt]# ceph osd map data 10000001188.00000000osdmap e109 pool 'data' (2) object '10000001188.00000000' -> pg 2.9865f84d (2.d) -> up ([1], p1) acting ([1], p1)
[root@lab8106 mnt]# ll /var/lib/ceph/osd/ceph-1/current/2.d_head/10000001188.00000000__head_9865F84D__2 -rw-r--r-- 1 ceph ceph 4194304 Apr 20 09:35 /var/lib/ceph/osd/ceph-1/current/2.d_head/10000001188.00000000__head_9865F84D__2

根据上面的命令已经把文件和对象的关系找到了,我们要看下这个关系是根据什么计算出来的

根据算法进行文件定位

写入测试文件(故意用bs=3M模拟后台不为整的情况)

[root@lab8106 ~]# dd if=/dev/zero of=/mnt/myfile bs=3M count=10

获取文件的inode信息

[root@lab8106 ~]# fileinode=`stat  -c %i  "/mnt/myfile"`[root@lab8106 ~]# echo $fileinode

获取文件的大小和对象个数信息

[root@lab8106 ~]# filesize=`stat  -c %s  "/mnt/myfile"`[root@lab8106 ~]# echo $filesize31457280[root@lab8106 ~]# objectnumori=`echo "scale = 1; $filesize/$objectsize"|bc`[root@lab8106 ~]# echo $objectnumori7.5[root@lab8106 ~]# objectnum=`echo $((${objectnumori//.*/+1}))`[root@lab8106 ~]# echo $objectnum8

获取对象名称前缀

[root@lab8106 ~]# declare -l $objectname[root@lab8106 ~]# objectname=`echo "obase=16;$fileinode"|bc`[root@lab8106 ~]# echo $objectname1000000118b

上面的declare -l操作后,对象名称的变量才能自动赋值为小写的,否则的话就是大写的,会出现对应不上的问题 对象的后缀(后面的0即为编号)

[root@lab8106 ~]#objectbackname=`printf "%.8x\n" 0`[root@lab8106 ~]#echo $objectbackname

真正的对象名称为:

[root@lab8106 ~]#realobjectback=$objectname.$objectbackname

打印出所有对象名称

[root@lab8106 ~]# for num in `seq  0 $objectnum` ;do backname=`printf "%.8x\n" $num`;echo $objectname.$backname;done;1000000118b.000000001000000118b.000000011000000118b.000000021000000118b.000000031000000118b.000000041000000118b.000000051000000118b.000000061000000118b.000000071000000118b.00000008

可以看到用算法进行定位的时候,整个过程都没有跟集群ceph进行查询交互,只用到了获取文件的stat的信息,所以根据算法就可以完全定位到具体的对象名称了

总结

本篇是介绍了cephfs中文件跟后台具体对象对应的关系,这个对于系统的可恢复性上面还是有很大的作用的,在cephfs当中只要对象还在,数据就还在,哪怕所有的服务全挂掉,这个在之前的某个别人的生产环境当中已经实践过一次,当然那个是rbd的相对来说要简单一些,当然文件系统的恢复也可以用OSD重构集群的方式进行恢复,本篇的对于元数据丢失的情况下文件恢复会有一定的指导作用

原文发布于微信公众号 - 磨磨谈(momotan1987)

原文发表时间:2017-04-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏cloudskyme

gsoap开发webservice

gSOAP编译工具提供了一个SOAP/XML 关于C/C++ 语言的实现,从而让C/C++语言开发web服务或客户端程序的工作变得轻松了很多。绝大多数的C++w...

35460
来自专栏静默虚空的博客

Ant 简易教程

前言 Apache Ant,是一个将软件编译、测试、部署等步骤联系在一起加以自动化的一个工具,大多用于Java环境中的软件开发。由Apache软件基金会所提供。...

246100
来自专栏小勇DW3

使用Redis作为分布式锁的一些注意点

最简单的方法是使用setnx命令。key是锁的唯一标识,按业务来决定命名,value为当前线程的线程ID。

3.4K50
来自专栏皮振伟的专栏

[nptl][rwlock]pthread rwlock原理分析

概念: In computer science, a readers–writer (RW) or shared-exclusive lock (also kn...

50670
来自专栏机器学习和数学

[编程经验] Python中的modlue和packages的区别

今天聊一下,Python中模块和包的区别和联系,以及怎么创建自己的package,通过学习,你可以明白我们平时用Python的时候,到底import 了什么东西...

26530
来自专栏老马说编程

(22) 代码的组织机制 / 计算机程序的思维逻辑

使用任何语言进行编程都有一个类似的问题,那就是如何组织代码,具体来说,如何避免命名冲突?如何合理组织各种源文件?如何使用第三方库?各种代码和依赖库如何编译连接为...

209100
来自专栏林欣哲

汇编程序

ISA指令集是由0和1组成的机器语言,难以记忆和阅读,因此人们发明汇编程序帮助记忆。 汇编基本算是和机器指令一一对应的关系,可以认为是给机器指令的每个部分分别起...

34960
来自专栏CaiRui

多线程编程

1、多线程对于具有如下特点的编程任务是非常理想的:1、本质上是异步的 2、需要多个并发活动 3、每个活动的处理顺序是不确定的。 2、使用多线程编程,以及类似Qu...

20770
来自专栏精讲JAVA

多平台下的数据存储新秀-PROTOBUF

protobuf是什么 protobuf是google旗下的一款平台无关,语言无关,可扩展的序列化结构数据格式。所以很适合用做数据存储和作为不同应用,不同语言之...

37250
来自专栏平凡文摘

详细分析Java中断机制

14940

扫码关注云+社区

领取腾讯云代金券