ceph 硬件选型、性能调优（*）

1、应用场景挑选

image.png

2、CPU：一个OSD至少1个CPU核 内存：一个OSD1GB内存；恢复时1TB1GB内存 网卡：万兆网卡 硬盘：SSD做日志盘，10-20GB；建议4个OSD数据盘配一个SSD； 3、硬件方面调优： -一个OSD进程对应一个CPU -mon和mds需要2GB内存，osd需要至少1GB内存 -SSD选择：Intel SSD DC S3500 Series -BIOS上开启VT和HT；关闭节能 -关闭NUMA 4、操作系统方面调优： -SSD的IO调度使用：NOOP 机械的IO调度使用：deadline -设置更大预读：echo "8192">/sys/block/sdX/queue/read_ahead_kb -设置进程数量：echo 4194303>/proc/sys/kernel/pid_max -调整CPU频率：echo performance|tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor>/dev/null -关闭交换分区：vm.swappiness=0 -cgroups?????? 5、网络方面调优： -MTU调整到9000 -手动设置中断亲和或者使用irqbalance -打开TOE：ethtool -K ens33 tso on -RDMA???? -DPDK???? 6、ceph方面调优： -echo 131072>/proc/sys/fs/file-max -filestore参数调优

image.png

-journal相关参数

image.png

-OSD参数

image.png

-recovery tuning参数

image.png

-client 参数

image.png

-pg的数量要2的指数，计算公式

image.png

7、基准测试工具：Cosbech