38 张图硬核高性能服务器架构设计与调优

本文主要包括以下内容的介绍

• 硬件设备
• 性能设计
• 故障排查
• 性能调优

硬件设备

计算机架构

性能设计

软件性能设计原则（不要让硬件成为瓶颈）:

• 均衡使用CPU多核处理能力
• 消除不必要的性能消耗
• 高效合理地使用和控制内存
• 最大化磁盘IOPS和吞吐，异步化处理
• 小包跑满万兆网卡，中断平衡

CDN Cache系统模型设计

• Net模块: 支持大并发，跑满万兆网卡
• ACL模块: 高效匹配，减少CPU消耗
• Store模块: 提高命中率，高效利用磁盘IOPS
• 回源模块: L7-check，长连接保持

Net 模块设计

• I/O模型 – epoll + O_NONBLOCK
• TCP选项 – TCP_DEFER_ACCEPT / TCP_SYNCNT – TCP_CORK / TCP_NODELAY / TCP_QUICKACK
• 收发包的方式 – RSS, SMP_AFFNITY – SO_REUSEPORT

完美hash处理HTTP header

• 完美hash( Perfect Hash Function )

• Hash table: key = value
• PHF将key集合没有冲突地映射到一组整数
• 查找key操作转换为索引整数表

• PHF场景&作用

• 适合在key集合确定或不经常更新的情况
• 主要作用是提高hash查找的速度

Store模块设计

• DIRECT IO写裸盘、绕过FS、不使用page cache

• 顺序写/随机读，stripe 8MB/block 512B

• mem_buf在内存做写合并

• 省去open和close系统调用

故障排查

/proc/meminfo 项的关系

• MemTotal = LowTotal + HighTotal

• MemFree = LowFree + HighFree

• Slab = SReclaimable + SUnreclaimable

• Active = Active(anon) + Active(file)

• Inactive = Inactive(anon) + Inactive(file)

• Buffers + Cached = Active(file) + Inactive(file)

• AnonPages + Buffers + Cached = Active + Inactive

• SwapTotal = SwapFree + SwapCached

性能调优