PI100v1

最近更新时间:2018-11-02 10:13:53

服务器基准配置

项目
机型代号 PI100v1
CPU E5-2670v3(12核) * 2
内存 DDR4 * 256 GB
硬盘 800G(SSD)*12
RAID / HBA 带RAID卡
RAID组合 [6+6]RAID50
网卡速率 10GE*2
异构卡 -

性能测试结果

内存

测试用例

项目
测试环境 mbw,sysbench,stream
OS: Centos 7.3 64 位
测试参数 mbm: <size> <core>

sysbench
--test=<test>
--Memory-block-size=<memory-block-size >
--Memory-total-size=<memory-total-size >
--Mmemory-access-size=<Mmemory-access-size>
--num-threads=<num-threads>

stream
测试步骤 mbw:
单核:
指定核心号 0
taskset -c 0 mbw -n 500 256
多核:
指定核心号j=0-31
taskset -c j mbw -n 500 256

sysbench:
多线程200000质数计算:
sysbench --test=memory --memory-block-size=8k
--memory-total-size=100G
--memory-access-mode=seq
--num-threads=32 run

stream:
多线程编译:
gcc -O -mcmodel=medium -fopenmp -DSTREAM_ARRAY_SIZE=100000000 -mcmodel=large -DNTIME=20 stream.c -o stream.o

单线程编译:
gcc -O -mcmodel=medium -DSTREAM_ARRAY_SIZE=100000000 -mcmodel=large -DNTIME=20 stream.c -o stream.o

执行:
stream.o
数据取样 运行 10 次,选取平均值

测试结果

项目
mbw 单核 - 固定大小拷贝(MiB/s) 5425.44
mbw 单核 - 赋值测试(MiB/s) 5424.22
mbw 单核 - 随机块大小拷贝(MiB/s) 7395.89
mbw 多核 - 固定大小拷贝(MiB/s) 27508.05
mbw 多核 - 赋值测试(MiB/s) 26947.63
mbw 多核 - 随机块大小拷贝(MiB/s) 37231.6
stream 单线程 - Triad 12630.83
stream 单线程 - Add 12576.2
stream 单线程 - Copy 11289.73
stream 单线程 - Scale 11165.27
stream 多线程 - Triad 78606.2
stream 多线程 - Add 78652.27
stream 多线程 - Copy 70855.53
stream 多线程 - Scale 70347.9

硬盘

测试用例

项目
测试环境 Fio 4.3版本
OS: Centos 7.3 64 位
测试参数 fio
--rw=<rw>
--size=<size>
--filename=<filename>
--iodepth=<iodepth>
--runtime=<runtime>
--bs=<bs>
--ioengine=libaio
--direct=1
--time_based
--refill_buffers
--norandommap
--randrepeat=0
--group_reporting
测试步骤 测试块大小为 4K、8K、16K、32K、64K、128K 情况下的随机读写和顺序读写性能
以 sdb 为例(以下省略部分列表参数):

4k 随机写深度 1:
fio -rw=randwrite -bs=4k -size=1000G -filename=/dev/sdb
--iodepth=1 --runtime=600

4k 随机读深度 1:
fio -rw=randread -bs=4k -size=1000G -filename=/dev/sdb
--iodepth=1 --runtime=600

4k 随机写深度 32:
fio -rw=randwrite -bs=4k -size=1000G -filename=/dev/sdb
--iodepth=32 --runtime=600

4k 随机读深度 32:
fio -rw=randread -bs=4k -size=1000G -filename=/dev/sdb
--iodepth=32 --runtime=600

32k 随机写深度 32:
fio -rw=randwrite -bs=32k -size=1000G -filename=/dev/sdb
--iodepth=32 --runtime=600

32k 随机读深度32:
fio -rw=randread -bs=32k -size=1000G -filename=/dev/sdb
--iodepth=32 --runtime=600

64k 随机写深度 32:
fio -rw=randwrite -bs=64k -size=1000G -filename=/dev/sdb
--iodepth=32 --runtime=600

64k 随机读深度 32:
fio -rw=randread -bs=64k -size=1000G -filename=/dev/sdb
--iodepth=32 --runtime=600

128k 顺序写深度 32:
fio -rw=write -bs=128k -size=1000G -filename=/dev/sdb
--iodepth=32 --runtime=600

128k 顺序读深度 32:
fio -rw=read -bs=128k -size=1000G -filename=/dev/sdb
--iodepth=32 --runtime=600

4k 混合读写深度 1:
fio -rw=randrw -bs=4k -size=1000G -filename=/dev/sdb
--iodepth=1 --runtime=600

4k 混合读写深度 32:
fio -rw=randrw -bs=4k -size=1000G -filename=/dev/sdb
--iodepth=32 --runtime=600

32k 混合读写深度 32:
fio -rw=randrw -bs=32k -size=1000G -filename=/dev/sdb
--iodepth=32 --runtime=600

64k 混合读写深度 32:
fio -rw=randrw -bs=64k -size=1000G -filename=/dev/sdb
--iodepth=32 --runtime=600

测试结果

项目
4k 随机写深度 1 - 随机写带宽(KB/s) 43309.29
4k 随机写深度 1 - 随机写 IOPS(次数/s) 10827.3
4k 随机写深度 1 - 随机写时延(us) 92.47
4k 随机读深度 1 - 随机读带宽(KB/s) 29548.77
4k 随机读深度 1 - 随机读时延(us) 134.8
4k 随机读深度 1 - 随机读 IOPS(次数/s) 7387.16
4k 随机写深度 32 - 随机写带宽(KB/s) 39493.51
4k 随机写深度 32 - 随机写 IOPS(次数/s) 9873.37
4k 随机写深度 32 - 随机写时延(us) 3375.24
4k 随机读深度 32 - 随机读带宽(KB/s) 473645.55
4k 随机读深度 32 - 随机读时延(us) 269.91
4k 随机读深度 32 - 随机读 IOPS(次数/s) 118411.41
32k 随机写深度 32 - 随机写带宽(KB/s) 307049.94
32k 随机写深度 32 - 随机写 IOPS(次数/s) 9595.34
32k 随机写深度 32 - 随机写时延(us) 3404.49
32k 随机读深度 32 - 随机读带宽(KB/s) 2281875.39
32k 随机读深度32 - 随机读时延(us) 448.25
32k 随机读深度32 - 随机读 IOPS(次数/s) 71308.67
64k 随机写深度 32 - 随机写带宽(KB/s) 450824.3
64k 随机写深度 32 - 随机写 IOPS(次数/s) 7044.14
64k 随机写深度 32 - 随机写时延(us) 4714
64k 随机读深度 32 - 随机读带宽(KB/s) 2674520.42
64k 随机读深度 32 - 随机读时延(us) 764.98
64k 随机读深度 32 - 随机读 IOPS(次数/s) 41789.4
128k 顺序写深度 32 - 顺序写时延(us) 2496.49
128k 顺序写深度 32 - 顺序写 IOPS(次数/s) 13493.96
128k 顺序写深度 32 - 顺序写带宽(KB/s) 1727230.95
128k 顺序读深度 32 - 顺序读时延(us) 1196.34
128k 顺序读深度 32 - 顺序读带宽(KB/s) 3434356.38
128k 顺序读深度 32 - 顺序读 IOPS(次数/s) 26830.93
4k 混合读写深度 1 - 随机读 IOPS(次数/s) 30608.88
4k 混合读写深度 1 - 随机写时延(us) 32093.21
4k 混合读写深度 1 - 随机写带宽(KB/s) 123871.42
4k 混合读写深度 1 - 随机读时延(us) 30650.53
4k 混合读写深度 1 - 随机读带宽(KB/s) 127401.82
4k 混合读写深度 1 - 随机写 IOPS(次数/s) 29939.11
4k 混合读写深度 32 - 随机读 IOPS(次数/s) 26239.54
4k 混合读写深度 32 - 随机写时延(us) 1015609.31
4k 混合读写深度 32 - 随机写带宽(KB/s) 100678.03
4k 混合读写深度 32 - 随机读时延(us) 1028766.94
4k 混合读写深度 32 - 随机读带宽(KB/s) 106793.11
4k 混合读写深度 32 - 随机写 IOPS(次数/s) 26388.64
32k 混合读写深度 32 - 随机读 IOPS(次数/s) 24681.63
32k 混合读写深度 32 - 随机写时延(us) 1110361.67
32k 混合读写深度 32 - 随机写带宽(KB/s) 768121.05
32k 混合读写深度 32 - 随机读时延(us) 1113771.76
32k 混合读写深度 32 - 随机读带宽(KB/s) 764184.19
32k 混合读写深度 32 - 随机写 IOPS(次数/s) 24059.11
64k 混合读写深度 64 - 随机读 IOPS(次数/s) 9000.19
64k 混合读写深度 64 - 随机写时延(us) 1671442.51
64k 混合读写深度64 - 随机写带宽(KB/s) 569615.63
64k 混合读写深度 64 - 随机读时延(us) 1700206.12
64k 混合读写深度 64 - 随机读带宽(KB/s) 578236.92
64k 混合读写深度 64 - 随机写 IOPS(次数/s) 8980.72

网卡

测试用例

项目
测试环境 netperf
ping
OS: Centos 7.3 64 位
测试参数 netperf
-H <server>
-l <runtime>
-t <cmd>
<cmdparams>

ping <cmdparams> <server> <hasnetperf>
测试步骤 netperf:
该测试使用了同一个子网中的两台机器,B 机作为 server,A 机向 B 机发包。
首先 B 机作为服务端启动服务:
netserver

A 机作为客户端开始发送数据:
256B 文件 TCP:
并发进程数160
netperf-H<server>-l120-tTCP_STREAM---m256

1400B 文件 TCP:
并发进程数160
netperf-H<server>-l120-tTCP_STREAM---m1400

32B-32B 长连接:
并发进程数300
netperf-H<server>-l120-tTCP_RR---r32,32

32B-32B 短连接:
并发进程数 50
netperf-H<server>-l120-tTCP_CRR---r32,32
32B 文件 UDP
并发进程数 6
netperf-H<server>-l120-tUDP_STREAM---m32

1424B 文件 UDP:
并发进程数 6
netperf-H<server>-l120-tUDP_STREAM---m1424

1500B 文件 UDP:
并发进程数 6
netperf-H<server>-l120-tUDP_STREAM---m1500

UDP 小包
并发进程数 6
netperf-H<server>-l120-tUDP_STREAM---m1

ping:
由 A 机向 B 机进行 ping 测试

有负载:
同样的 B 机作为服务端开启服务:netserver
A 机后台运行 netperf 足够多 次,比如 100 次:
netperf-H<server>-l3600-tTCP_RR---r32,1024
同时:ping---c3000-i0.1--<server>

空载:
ping---c3000-i0.1--<server>
数据取样 3 次测试,选取平均值

测试结果

项目
有负载的的 ping 平均延时(ms) 0.08
有负载的的 ping 最大延时(ms) 0.19
有负载的的 ping 延时标准偏差(越小越稳定) 0.02
有负载的的 ping 丢包率(百分比) 0
空载的 ping 最小延时(ms) 0.04
空载的 ping 平均延时(ms) 0.04
空载的 ping 最大延时(ms) 0.15
空载的 ping 延时标准偏差(越小越稳定) 0.01
空载的 ping 丢包率(百分比) 0
256B 文件 TCP 传输带宽(Mbits/sec) 9429.36
1400B 文件 TCP 传输带宽(Mbits/sec) 9436.11
32B-32B 长连接包收发速度(packets/s) 1168886.5
32B-32B 短连接包收发速度(packets/s) 191619.5
32B 文件 UDP 传输带宽(Mbits/sec) 842.75
32B 文件 UDP UDP 传输丢包率(百分比) 78.76
32B 文件 UDP UDP 接收带宽(Mbits/sec) 179.05
1424B 文件 UDP 传输带宽(Mbits/sec) 9557.68
1424B 文件 UDP UDP 传输丢包率(百分比) 33.84
1424B 文件 UDP UDP 接收带宽(Mbits/sec) 6323.32
1500B 文件 UDP 传输带宽(Mbits/sec) 9237.72
1500B 文件 UDP UDP 传输丢包率(百分比) 71.24
1500B 文件 UDP UDP 接收带宽(Mbits/sec) 2657
UDP 小包传输带宽(Mbits/sec) 26.04
UDP 小包 UDP 传输丢包率(百分比) 79.36
UDP 小包 UDP 接收带宽(Mbits/sec) 5.37