rbd的image对象数与能写入文件数的关系

一、前言

收到一个问题如下:

一个300TB 的RBD,只有7800万的objects,如果存储小文件的话,感觉不够用

对于这个问题,我原来的理解也是:对象默认设置的大小是4M一个,存储下去的数据,如果小于4M,就会占用一个小于4M的对象,如果超过4M,那么存储的数据就会进行拆分成多个4M,这个地方其实是不严谨的

对于rados接口来说,数据是多大对象put进去就是多大的对象,并没有进行拆分,进行拆分的是再上一层的应用,比如rbd,比如cephfs

那么对于rbd的image显示的对象数目和文件数目有什么关系呢?本篇将来看看这个问题,到底会不会出现上面的问题

二、实践过程

创建一个image

[root@lab8106 ~]# rbd create --image zpsize --size 100M
[root@lab8106 ~]# rbd info zpsize
rbd image 'zpsize':
	size 102400 kB in 25 objects
	order 22 (4096 kB objects)
	block_name_prefix: rbd_data.85c66b8b4567
	format: 2
	features: layering
	flags:

可以看到,这个image从集群中分配到了25个对象,每个对象的大小为4M,假如我们写入1000个小文件看下会是什么情况

映射到本地并且格式化xfs文件系统

[root@lab8106 ~]# rbd map zpsize
/dev/rbd0
[root@lab8106 ~]# mkfs.xfs -f /dev/rbd0 
meta-data=/dev/rbd0              isize=256    agcount=4, agsize=6144 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=0        finobt=0
data     =                       bsize=4096   blocks=24576, imaxpct=25
         =                       sunit=1024   swidth=1024 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=0
log      =internal log           bsize=4096   blocks=624, version=2
         =                       sectsz=512   sunit=8 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

挂载到本地 [root@lab8106 ~]# mount /dev/rbd0 /mnt

写入1000个1K小文件

[root@lab8106 ~]# seq 1000|xargs -i dd if=/dev/zero of=/mnt/a{} bs=1K count=1

没有报错提示,正常写入了,我们看下写入了多少对象

[root@lab8106 ~]# rados  -p rbd ls|grep rbd_data.85c66b8b4567
rbd_data.85c66b8b4567.0000000000000018
rbd_data.85c66b8b4567.0000000000000000
rbd_data.85c66b8b4567.0000000000000006
rbd_data.85c66b8b4567.0000000000000001
rbd_data.85c66b8b4567.0000000000000017
rbd_data.85c66b8b4567.000000000000000c
rbd_data.85c66b8b4567.0000000000000012
rbd_data.85c66b8b4567.0000000000000002

只写入了少量的对象,我们尝试下载下来看看

[root@lab8106 ~]# ll -hl rbd_data.85c66b8b4567.0000000000000018
-rw-r--r-- 1 root root 4.0M Jan  3 14:27 rbd_data.85c66b8b4567.0000000000000018
[root@lab8106 ~]# rados  -p rbd get rbd_data.85c66b8b4567.0000000000000000 rbd_data.85c66b8b4567.0000000000000000
[root@lab8106 ~]# ll -hl rbd_data.85c66b8b4567.0000000000000000
-rw-r--r-- 1 root root 4.0M Jan  3 14:27 rbd_data.85c66b8b4567.0000000000000000

可以看到还是4M的对象,实际上写入的小文件已经进行了合并了,在底层已经是一个4M的对象文件了

总结

本篇的结论就是,rbd层之上的写入的文件的个数与底层的对象数目是没有关系的,对象数目和对象大小是底层处理的,再上一层就是文件系统去处理的了,总空间占用上是一致的

本文分享自微信公众号 - 磨磨谈(momotan1987)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-01-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏自动化测试实战

flask第34篇——测试器、模板继承

http://jinja.pocoo.org/docs/2.10/templates/#list-of-builtin-tests

12120
来自专栏电光石火

运行jar包找不到主类

在正确编译好java程序之后,打包,然后在命令行输入java -jar ,却弹出找不到或无法加载主类。 一检查,我的path环境变量都是对的呀?jav...

67990
来自专栏行者常至

(Servlet)常见错误及解决方式

·404数字 指的是:服务器执行完客户端的请求后,返回给客户端一个执行结果的状态编码。

9840
来自专栏搜云库

Scala-2.13.0 安装及配置

Scala 简介 Scala 是一门多范式(multi-paradigm)的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在J...

270100
来自专栏nummy

Tornado入门(二)【异步和阻塞IO】

实时Web应用通常针对每个用户创建持久连接,对于传统的同步服务器,这意味着需要给每个用户单独创建一个线程,这样做的代价非常高。

9320
来自专栏社区的朋友们

django 初始化默认数据的一个方法

经常可能会有的一个需求就是,一个表中会有一些默认数据,这些数据未来是可以通过管理端来配置的。所以数据库在被建立之后,会有一些默认数据被插入表中。

3.1K30
来自专栏技巅

Glusterfs之rpc模块源码分析(中)之Glusterfs的rpc模块实现(1)

21930
来自专栏码生

django 学习笔记三

拦截到url 后,通过拦截到的URL和 request 做一些不同的响应(response)

12720
来自专栏python3

python爬虫常用模块

涉及到网络这块,必不可少的模式就是urllib.request了,顾名思义这个模块主要负责打开URL和HTTP协议之类的

13110
来自专栏kalifaの日々

BeautifulSoup使用find,find_all常见问题汇总

1.soup.find(class='abc')报错,原因是find和find_all里面都不能直接把class作为参数,改写成如下任意一种就对了: 第一种,给...

37650

扫码关注云+社区

领取腾讯云代金券