ARM/x86服务器的ceph性能对比报告

1

-文档简介-

ceph对象存储集群是一个高可用、智能化的分布式对象存储系统,支持自修复,自管理等底层数据管理功能,目前已广泛应用于各个领域中。

本文旨在部署ceph集群且配置相同参数条件下,从前端和后端,大文件和小文件上,分别对ARM服务器和x86服务器进行的性能测试,且对二者的测试结果进行性能对比并分析;其中ARM和x86服务器集群均使用SSD盘来存储元数据信息。

2

-性能测试范围-

3副本模式下的,L版(12.2.5)的小文件64K和大文件4M的读,写和删除性能(cosbench和radosbench (删除没有测试))

3

-性能测试组织资源-

系统性能测试资源需求包括:

测试人员:1名

分析人员:1名

测试机:ARM集群/x86集群

测试周期:20天/人

4

-性能测试环境-

分别介绍ARM集群和x86集群的硬件配置、软件配置,以及集群服务部署。

4.1 ARM测试环境

4.1.1集群硬件配置

本小节介绍下ARM集群的硬件配置环境,包括集群的组网拓扑,单台ARM服务器机箱的内部结构以及详细的硬件配置。

(1)集群组网拓扑

(图1 ARM集群组网拓扑)

(2)ARM服务器机箱内部架构

(图2 ARM机箱内部架构)

(3)ARM机器硬件详细配置

4.1.2 软件配置

4.1.3 集群服务部署

4.2 x86测试环境

4.2.1 集群硬件配置

4.2.2 软件配置

4.2.3 集群服务部署

5

-性能测试和总结-

5.1 前端

此次共选举了64K、4M对象的测试用例,通过cosbench测试工具对系统的性能进行测试记录,并记录测试数据

5.1.1 64K

64K小文件对象采用250并发,300万对象的用例,进行对比测试并分析。下图中,分别从处理时间、吞吐量和带宽3方面进行对比,详细情况见下图:

从上述图表看,x86集群的写性能约是ARM的9倍,读性能是ARM的4倍,删除是ARM的4.5倍。

5.1.2 4M

4M大文件对象采用200并发,30万对象的用例,进行对比测试并分析。下图中,分别从处理时间、吞吐量和带宽3方面进行对比,详细情况见下图:

从上述图表看,大文件下,x86集群的写性能是ARM的1.3倍,读性能略优于ARM,删除性能是ARM的10倍。

5.2 后端

此次共选举了64K、4M对象的测试用例,通过radosbench测试工具对系统的性能进行测试记录,并记录测试数据。

5.2.1 64K

64K小文件对象的后端测试,共列举在多种并发数下,运行300s的测试情况,进行对比测试并分析。下面分别列举多种并发情况下的测试结果。

(1)32并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:

从上述图表看,32并发下,x86写性能是ARM的14倍,读性能约是ARM的2倍。

(2)64并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:

从上述图表看,64并发下,x86写性能是ARM的10.7倍,读性能是ARM的1.36倍。

(3)128并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:

从上述图表看,128并发下,x86写性能是ARM的7.5倍,读性能差距不大。

(4)256并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:

从上述图表看,256并发下,x86写性能是ARM的6倍,读性能和ARM差距不大。

(5)512并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:

从上述图表看,512并发下,x86写性能是ARM的4.5倍,读性能是ARM的1.25倍。

5.2.2 4M

4M大文件对象的后端测试,共列举在多种并发数下,运行300s的测试情况,进行对比测试并分析。下面分别列举多种并发情况下的测试结果。

(1)8并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:

从上述图表看:8并发下,x86写性能是ARM的4.7倍,读性能是ARM的1.7倍。

(2)16并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:

从上述图表看,x86写性能是ARM的3倍,x86读性能是ARM的1.3倍。

(3)32并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:

从上述图表看,x86写性能是ARM的2.3倍,读性能差距不大。

(4)64并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:

从上述图表看,x86写性能是ARM的2.3倍,ARM的读性能略优于x86。

(5)128并发运行300s;分别从延迟、吞吐量和带宽3方面进行对比,详细情况见下图:­­­­­­­

从上述图表看,128并发下,x86写性能是ARM的2.2倍,ARM的读性能略优于x86。

5.3 总结

从后端测试结果看,ARM的读性能与x86的读性能差别不是很大,而写性能差别较大。小文件下,在不同的并发数目下,x86的写性能约是ARM写性能的5-30倍,而从数据对比看,小文件测试下,x86在小并发数目下的性能优势更明显,大文件下,x86的写性能是ARM的2-3倍,而针对读性能,x86与ARM服务器差距不明显。

从前端测试结果看,小文件下,x86的写性能是ARM的9倍,读性能是ARM的4倍,删除是ARM的4.5倍;大文件下,x86的写性能是ARM的1.3倍,读性能略优于ARM;不过测试读数据时,x86和ARM的带宽皆接近满负荷,所以若需精确比较二者大文件下的读性能差异,还需部署更高网络带宽环境进行测试比较。大文件下,x86的删除性能是ARM的10倍。

目前从测试结果看,ARM服务器的性能与x86服务器的性能差距较大,怀疑原因之一是ARM服务器采用了32位处理器,后续ARM服务器会继续深入研究最佳方案,并采用64位处理器,以检测性能是否有所提升。

1

END

1

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180911B1FSRZ00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券