fio测试ceph的filestore
前言
fio是一个适应性非常强的软件，基本上能够模拟所有的IO请求，是目前最全面的一款测试软件，之前在看德国电信的一篇分享的时候，里面就提到了，如果需要测试存储性能，尽量只用一款软件，这样从上层测试到底层去，才能更好的去比较差别
fio对于ceph来说，可以测试文件系统，基于文件系统之上测试，可以测试内核rbd，将rbdmap到本地格式化以后进行测试，或者基于librbd直接对rbd进行测试，这个是目前都已经有的测试场景，这些不在本篇的讨论的范围内，今天讲的是一种新的测试场景，直接对ceph的底层存储进行测试
为什么会有这个，因为在以前，如果你要测试一块磁盘是不是适合ceph使用的时候，都是直接对挂载的磁盘进行一些测试，这个是基于文件系统的，并没有真正的模拟到ceph自己的写入模型，所以在开发人员的努力下，模拟对象的写入的驱动已经完成了，这就是本篇需要讲述的内容
实践过程
fio engine for objectstore 这个是在ceph的11.0.2这个版本才正式发布出来的，可以看这个pr(pr10267),11.0.2是ceph第一个公开释放的KRAKEN版本的，也说明Jewel版本即将进入比较稳定的情况，新的功能可能会尽量在K版本进行开发
下载相关代码
创建一个目录用于存储代码
[root@lab8106 ~]# mkdir /root/newceph
[root@lab8106 ~]# cd /root/newceph/下载fio的代码
[root@lab8106 newceph]# git clone git://git.kernel.dk/fio.git
下载ceph的代码
下载代码并且切换到指定的11.0.2分支，不要用master分支，里面还没有合进去，并且还有bug
[root@lab8106 ~]# cd /root/newceph/
[root@lab8106 newceph]# git clone git://github.com/ceph/ceph.git
[root@lab8106 newceph]# cd ceph
[root@lab8106 ceph]#git checkout -b myfenzhi v11.0.2
[root@lab8106 ceph]#git submodule update --init --recursive创建一个cmake编译的目录并且编译
[root@lab8106 ~]# mkdir /root/newceph/build
[root@lab8106 ~]# cd /root/newceph/build
[root@lab8106 build]# cmake -DWITH_FIO=ON -DFIO_INCLUDE_DIR=/root/newceph/fio/ -DCMAKE_BUILD_TYPE=Release /root/newceph/ceph
[root@lab8106 build]# make install -j 16安装完成检查是不是生成了这个库文件,fio就是利用这个库作为写入引擎的
[root@lab8106 build]# ll lib/libfio_ceph_objectstore.so
-rwxr-xr-x 1 root root 59090338 Nov 23 22:17 lib/libfio_ceph_objectstore.so将库路径让系统识别 export LD_LIBRARY_PATH=/root/newceph/build/lib/
编译fio
[root@lab8106 ~]# cd /root/newceph/fio/
[root@lab8106 fio]#./configure
[root@lab8106 fio]# make如果显示下面的，就可以了
[root@lab8106 fio]# ./fio --enghelp=libfio_ceph_objectstore.so
conf : Path to a ceph configuration file配置测试
下面需要准备两个配置文件，一个是ceph自身的，一个是fio配置文件，我们看下我的环境下这个配置文件如何写的 写fio的测试文件 vim filestore.fio
[global]
ioengine=libfio_ceph_objectstore.so # must be found in your LD_LIBRARY_PATH
conf=/etc/ceph/ceph-filestore.conf # must point to a valid ceph configuration file
directory=/var/lib/ceph/osd/ceph-8 # directory for osd_data
rw=randwrite
iodepth=16
time_based=1
runtime=20s
[filestore]
nr_files=64
size=256m
bs=64k上面的指定了一个配置文件和一个目录，这个目录是你需要测试的集群的存储的目录，里面不需要数据 写ceph的配置文件 vim /etc/ceph/ceph-filestore.conf
[global]
debug filestore = 0/0
debug journal = 0/0
# spread objects over 8 collections
osd pool default pg num = 8
# increasing shards can help when scaling number of collections
osd op num shards = 5
filestore fd cache size = 32
[osd]
osd objectstore = filestore
# use directory= option from fio job file
osd data = /var/lib/ceph/osd/ceph-8/
# journal inside fio_dir
osd journal = /var/lib/ceph/osd/ceph-8/journal
osd journal size = 5000
journal force aio = 1配置文件指定数据目录，和journal路径
开始测试
[root@lab8106 fio]# ./fio filestore.fio
filestore: (g=0): rw=randwrite, bs=64K-64K/64K-64K/64K-64K, ioengine=ceph-os, iodepth=16
fio-2.15-11-g42f1
Starting 1 process
2016-11-23 22:32:17.713473 7f7536d56780 0 filestore(/var/lib/ceph/osd/ceph-8/) backend xfs (magic 0x58465342)
2016-11-23 22:32:17.804601 7f7536d56780 0 filestore(/var/lib/ceph/osd/ceph-8/) backend xfs (magic 0x58465342)
2016-11-23 22:32:17.805003 7f7536d56780 0 genericfilestorebackend(/var/lib/ceph/osd/ceph-8/) detect_features: FIEMAP ioctl is disabled via 'filestore fiemap' config option
2016-11-23 22:32:17.805018 7f7536d56780 0 genericfilestorebackend(/var/lib/ceph/osd/ceph-8/) detect_features: SEEK_DATA/SEEK_HOLE is disabled via 'filestore seek data hole' config option
2016-11-23 22:32:17.805020 7f7536d56780 0 genericfilestorebackend(/var/lib/ceph/osd/ceph-8/) detect_features: splice() is disabled via 'filestore splice' config option
2016-11-23 22:32:17.864962 7f7536d56780 0 genericfilestorebackend(/var/lib/ceph/osd/ceph-8/) detect_features: syncfs(2) syscall fully supported (by glibc and kernel)
2016-11-23 22:32:17.865056 7f7536d56780 0 xfsfilestorebackend(/var/lib/ceph/osd/ceph-8/) detect_feature: extsize is disabled by conf
2016-11-23 22:32:17.865643 7f7536d56780 0 filestore(/var/lib/ceph/osd/ceph-8/) start omap initiation
2016-11-23 22:32:17.926589 7f7536d56780 0 filestore(/var/lib/ceph/osd/ceph-8/) mount: enabling WRITEAHEAD journal mode: checkpoint is not enabled
可以看到，已经开始以对象存储的IO模型去生成测试了，根据自己的需要对不同的存储设备和组合进行测试就可以了
总结
作为一个新的测试模型的出现，更加完善了ceph的整体体系，也给磁盘的选型增加更好的测试工具