ARM/x86服务器的ceph性能对比报告

第

1

则

-文档简介-

ceph对象存储集群是一个高可用、智能化的分布式对象存储系统，支持自修复，自管理等底层数据管理功能，目前已广泛应用于各个领域中。

本文旨在部署ceph集群且配置相同参数条件下，从前端和后端，大文件和小文件上，分别对ARM服务器和x86服务器进行的性能测试，且对二者的测试结果进行性能对比并分析；其中ARM和x86服务器集群均使用SSD盘来存储元数据信息。

第

2

则

-性能测试范围-

3副本模式下的，L版(12.2.5)的小文件64K和大文件4M的读，写和删除性能(cosbench和radosbench (删除没有测试))

第

3

则

-性能测试组织资源-

系统性能测试资源需求包括：

测试人员：1名

分析人员：1名

测试机：ARM集群/x86集群

测试周期：20天/人

第

4

则

-性能测试环境-

分别介绍ARM集群和x86集群的硬件配置、软件配置，以及集群服务部署。

4.1 ARM测试环境

4.1.1集群硬件配置

本小节介绍下ARM集群的硬件配置环境，包括集群的组网拓扑，单台ARM服务器机箱的内部结构以及详细的硬件配置。

（1）集群组网拓扑

（图1 ARM集群组网拓扑）

（2）ARM服务器机箱内部架构

（图2 ARM机箱内部架构）

（3）ARM机器硬件详细配置

4.1.2 软件配置

4.1.3 集群服务部署

4.2 x86测试环境

4.2.1 集群硬件配置

4.2.2 软件配置

4.2.3 集群服务部署

第

5

则

-性能测试和总结-

5.1 前端

此次共选举了64K、4M对象的测试用例，通过cosbench测试工具对系统的性能进行测试记录，并记录测试数据

5.1.1 64K

64K小文件对象采用250并发，300万对象的用例，进行对比测试并分析。下图中，分别从处理时间、吞吐量和带宽3方面进行对比，详细情况见下图：

从上述图表看，x86集群的写性能约是ARM的9倍，读性能是ARM的4倍，删除是ARM的4.5倍。

5.1.2 4M

4M大文件对象采用200并发，30万对象的用例，进行对比测试并分析。下图中，分别从处理时间、吞吐量和带宽3方面进行对比，详细情况见下图：

从上述图表看，大文件下，x86集群的写性能是ARM的1.3倍，读性能略优于ARM，删除性能是ARM的10倍。

5.2 后端

此次共选举了64K、4M对象的测试用例，通过radosbench测试工具对系统的性能进行测试记录，并记录测试数据。

5.2.1 64K

64K小文件对象的后端测试，共列举在多种并发数下，运行300s的测试情况，进行对比测试并分析。下面分别列举多种并发情况下的测试结果。

（1）32并发运行300s；分别从延迟、吞吐量和带宽3方面进行对比，详细情况见下图：

从上述图表看，32并发下，x86写性能是ARM的14倍，读性能约是ARM的2倍。

（2）64并发运行300s；分别从延迟、吞吐量和带宽3方面进行对比，详细情况见下图：

从上述图表看，64并发下，x86写性能是ARM的10.7倍，读性能是ARM的1.36倍。

（3）128并发运行300s；分别从延迟、吞吐量和带宽3方面进行对比，详细情况见下图：

从上述图表看，128并发下，x86写性能是ARM的7.5倍，读性能差距不大。

（4）256并发运行300s；分别从延迟、吞吐量和带宽3方面进行对比，详细情况见下图：

从上述图表看，256并发下，x86写性能是ARM的6倍，读性能和ARM差距不大。

（5）512并发运行300s；分别从延迟、吞吐量和带宽3方面进行对比，详细情况见下图：

从上述图表看，512并发下，x86写性能是ARM的4.5倍，读性能是ARM的1.25倍。

5.2.2 4M

4M大文件对象的后端测试，共列举在多种并发数下，运行300s的测试情况，进行对比测试并分析。下面分别列举多种并发情况下的测试结果。

（1）8并发运行300s；分别从延迟、吞吐量和带宽3方面进行对比，详细情况见下图：

从上述图表看：8并发下，x86写性能是ARM的4.7倍，读性能是ARM的1.7倍。

（2）16并发运行300s；分别从延迟、吞吐量和带宽3方面进行对比，详细情况见下图：

从上述图表看，x86写性能是ARM的3倍，x86读性能是ARM的1.3倍。

（3）32并发运行300s；分别从延迟、吞吐量和带宽3方面进行对比，详细情况见下图：

从上述图表看，x86写性能是ARM的2.3倍，读性能差距不大。

（4）64并发运行300s；分别从延迟、吞吐量和带宽3方面进行对比，详细情况见下图：

从上述图表看，x86写性能是ARM的2.3倍，ARM的读性能略优于x86。

（5）128并发运行300s；分别从延迟、吞吐量和带宽3方面进行对比，详细情况见下图：­­­­­­­

从上述图表看，128并发下，x86写性能是ARM的2.2倍，ARM的读性能略优于x86。

5.3 总结

从后端测试结果看，ARM的读性能与x86的读性能差别不是很大，而写性能差别较大。小文件下，在不同的并发数目下，x86的写性能约是ARM写性能的5-30倍，而从数据对比看，小文件测试下，x86在小并发数目下的性能优势更明显，大文件下，x86的写性能是ARM的2-3倍，而针对读性能，x86与ARM服务器差距不明显。

从前端测试结果看，小文件下，x86的写性能是ARM的9倍，读性能是ARM的4倍，删除是ARM的4.5倍；大文件下，x86的写性能是ARM的1.3倍，读性能略优于ARM；不过测试读数据时，x86和ARM的带宽皆接近满负荷，所以若需精确比较二者大文件下的读性能差异，还需部署更高网络带宽环境进行测试比较。大文件下，x86的删除性能是ARM的10倍。

目前从测试结果看，ARM服务器的性能与x86服务器的性能差距较大，怀疑原因之一是ARM服务器采用了32位处理器，后续ARM服务器会继续深入研究最佳方案，并采用64位处理器，以检测性能是否有所提升。

1

END

1