本文主要介绍如何通过合理的方式对 CFS 云文件系统进行性能测试。
性能关键指标
指标 | 定义 | 业内常用测试方案 |
时延 | 处理读写请求的耗时，单位ms。 | 设置1MiB大小的文件，通过单流（单线程）的方式，每次传输4KiB的小数据块，获取读写延时。 |
IOPS | 每秒读写文件块（IO 操作）的数量，单位个/s。 | 设置100MiB大小的文件，通过并发（多机多线程）的方式，每次传输4KiB的小数据块，获取 IOPS。 |
吞吐 | 每秒读写数据量的大小，单位GiB/s或MiB/s。 | 设置100MiB大小的文件，通过并发（多机多线程）的方式，每次传输1MiB或4MiB的大数据块，获取吞吐。 |
转换公式
吞吐 = IOPS*读写块大小；
IOPS = 读写次数/整体时延；
整体时延 = 时延*(读写次数/并发数)
说明：
例如，通用标准型 CFS 4KiB写时延约为7ms：
当并发数为1，写入次数为250，则整体时延为7ms*250=1.75s，IOPS为 250/1.75s≈143个/s，吞吐为143个/s*4KiB=571KiB/s；
当并发数为128，写入次数为250，则整体时延为7ms*(250/128)≈13.7ms，IOPS为 250/13.7ms≈18286个/s，吞吐为18285个/s*4KiB≈71MiB/s。
注意事项
压测时，因服务端缓存加速的特性，命中缓存时，读性能会超过标准值，此现象符合预期。
压测时，尤其是时延测试，需要保证云服务器（客户端）和 CFS 处于同可用区。受网络延迟影响，跨可用区性能结果会和标准值有较大差异，需尽可能避免。
CFS 云文件存储所提供的 性能规格，除时延参数外，均需要一定规模和核心数机器进行并发压测才能达到最大值。
FIO 工具压测时模拟正常文件的读写，不会对文件系统造成损坏，但测试时请注意不要使用生产环境进行压测，避免对您的业务造成不必要的影响。
说明：
以吞吐为例，最大不会超过 CVM 内网带宽，如果内网带宽太小，吞吐会被流量限制。例如，购买20T的 Turbo 标准型 CFS，初始带宽为2GiB/s，配套使用 CVM 实例规格 为 SA3.LARGE8，内网带宽（出+入）为2Gbps，则单机访问吞吐最大为0.25GiB/s，如果想要测到最高吞吐，则至少需要8台同规格 CVM 并发测试。
操作步骤
安装压测软件
CentOs/Tlinux：
sudo yum install fio
Ubuntu/Debian：
sudo apt-get install fio
读时延测试
fio -directory=/path/to/cfs -iodepth=1 -time_based=1 -thread -direct=1 -ioengine=libaio -rw=randread -bs=4K -size=1M -numjobs=1 -runtime=60 -group_reporting -name=cfs_test
结果样例
写时延测试
fio -directory=/path/to/cfs -iodepth=1 -time_based=1 -thread -direct=1 -ioengine=libaio -rw=randwrite -bs=4K -size=1M -numjobs=1 -runtime=60 -group_reporting -name=cfs_test
结果样例
读 IOPS 测试
fio -directory=/path/to/cfs -iodepth=1 -time_based=1 -thread -direct=1 -ioengine=libaio -rw=randread -bs=4K -size=100M -numjobs=128 -runtime=60 -group_reporting -name=cfs_test
写 IOPS 测试
fio -directory=/path/to/cfs -iodepth=1 -time_based=1 -thread -direct=1 -ioengine=libaio -rw=randwrite -bs=4K -size=100M -numjobs=128 -runtime=60 -group_reporting -name=cfs_test
读吞吐测试
fio -directory=/path/to/cfs -iodepth=1 -time_based=1 -thread -direct=1 -ioengine=libaio -rw=randread -bs=1M -size=100M -numjobs=128 -runtime=60 -group_reporting -name=cfs_test
写吞吐测试
fio -directory=/path/to/cfs -iodepth=1 -time_based=1 -thread -direct=1 -ioengine=libaio -rw=randwrite -bs=1M -size=100M -numjobs=128 -runtime=60 -group_reporting -name=cfs_test
FIO 参数说明
参数 | 参数说明 |
direct | 表示是否使用 direct I/O。默认值：1。 值为1：表示使用 direct I/O，忽略客户端 I/O 缓存，数据直写或直读。 值为0：表示不使用 direct I/O。 注意： 此参数无法穿透服务端缓存。 |
iodepth | 表示测试时的 IO 队列深度。例如 -iodepth=1表示 FIO 控制请求中的 I/O 最大个数为1。 |
rw | 表示测试时的读写策略。您可以设置为： randwrite：随机写。 randread：随机读。 read：顺序读。 write：顺序写。 randrw：混合随机读写。 说明： 压测一般基于随机读写。如果需要顺序读写的性能值，可根据需要调整参数。 |
ioengine | 表示测试时 FIO 选择哪种 I/O 引擎，通常选择 libaio，保证数据 IO 的异步下发。 注意： 压测时如不选择 libaio，其性能瓶颈主要在于 ioengine 上，非存储侧瓶颈。 |
bs | 表示 I/O 单元的块大小（block size）。 |
size | 表示测试文件大小。 FIO 会将指定的文件大小全部读/写完成，然后才停止测试，除非受到其他选项（例如运行时）的限制。 如果未指定该参数，FIO 将使用给定文件或设备的完整大小。也可以将大小作为1到100之间的百分比给出，例如指定 size=20%，FIO 将使用给定文件或设备完整大小的20%空间。 |
numjobs | 表示测试的并发线程数。 |
runtime | 表示测试时间，即 FIO 运行时长。 |
group_reporting | 表示测试结果显示模式。 如果指定该参数，测试结果会汇总每个进程的统计信息，而不是以不同任务来统计信息。 |
directory | 表示待测试的文件系统挂载路径。 说明： 选择此参数，FIO 将默认从此路径创建出 numjobs 数量的文件进行压测。存储压测时一定要选择此参数，如果直接指定 filename 是对单个文件进行压测。 |
name | 表示测试任务名称，可以根据实际需要设定。 |
thread | 使用多线程的方式进行压测，而非多进程。 |
time_based | 值为1： 当指定的文件大小读写完之后，自动重复 IO，直到 runtime 参数指定的时间。 值为0：当指定的文件大小写完之后，立即停止。 说明： 通常测试时指定为1，能保证测试程序在指定的时间范围内持续运行。 |
