网络内核优化

# 加载 tcp_bbr 内核模块
modprobe tcp_bbr

# 确认模块已加载
lsmod | grep tcp_bbr
# 预期输出：tcp_bbr 20480 0（或其他非空输出，表示模块已加载）

# 确认 BBR 在可用算法列表中
sysctl net.ipv4.tcp_available_congestion_control
# 预期输出：net.ipv4.tcp_available_congestion_control = reno cubic bbr

# 查看当前算法
sysctl net.ipv4.tcp_congestion_control
# 预期输出：net.ipv4.tcp_congestion_control = cubic

# 切换为 BBR（推荐公网高带宽场景，内网场景不建议切换）
sysctl -w net.ipv4.tcp_congestion_control=bbr
# 预期输出：net.ipv4.tcp_congestion_control = bbr

# 验证切换成功
sysctl net.ipv4.tcp_congestion_control
# 预期输出：net.ipv4.tcp_congestion_control = bbr

# 确认 nf_conntrack 模块已加载（若未加载，conntrack 参数路径不存在）
modprobe nf_conntrack

# 查看当前连接追踪统计
sysctl net.netfilter.nf_conntrack_count
# 预期输出：net.netfilter.nf_conntrack_count = 12345（示例值，当前已追踪的连接数）

sysctl net.netfilter.nf_conntrack_max
# 预期输出：net.netfilter.nf_conntrack_max = 65536（当前最大值）

# 临时调大 conntrack 表最大值（运行时生效）
sysctl -w net.netfilter.nf_conntrack_max=1048576
# 预期输出：net.netfilter.nf_conntrack_max = 1048576

# 确认 max 已更新（需 nf_conntrack 模块已加载，否则参数路径不存在）
sysctl net.netfilter.nf_conntrack_max
# 预期输出：net.netfilter.nf_conntrack_max = 1048576

# 确认当前连接数未接近 max，避免打满
sysctl net.netfilter.nf_conntrack_count
# 预期输出：一个远小于 max 的数值，使用率应低于 70%

# 查看 conntrack 统计（关注 insert_failed、drop，应为 0）
cat /proc/net/stat/nf_conntrack
# 或用 ctstat 查看汇总（ctstat 由 iproute-tc 包提供，未安装时可执行 dnf install iproute-tc）
ctstat -s 1
# 预期输出：insert_failed=0, drop=0（若 insert_failed 持续增长说明表仍打满）

#通过 ip link 查看网卡真实名称
ip link show

# RSS（接收端缩放）：查看网卡多队列配置
ethtool -l <网卡名>
# 预期输出：显示 Channel parameters，其中 Pre-set maximums 的 Combined 为最大支持队列数，Current hardware settings 的 Combined 为当前队列数（例如 Combined: 2）

# 设置队列数（需网卡支持，<队列数>根据 CPU 核数确定，一般等于核数，且不能超过 Pre-set maximums 中 Combined 的最大值）
ethtool -L <网卡名> combined <队列数>
# 预期输出：无报错，再次 ethtool -l <网卡名> 可见 Combined queues 已更新

#通过 ip link 查看网卡真实名称
ip link show
# 查看网卡中断分布（注意：虚拟化环境网卡中断以底层设备名标识，如 virtio0-input.0，
# 用网卡名 grep 可能无输出——可先执行 ethtool -i <网卡名> 查看 driver/bus-info，再按设备名检索）
grep virtio /proc/interrupts
# 预期输出：多行，每行对应一个收发队列中断（如 virtio0-input.0、virtio0-output.0），
# 各队列中断数应大致均匀分布

# 设置中断亲和性（将 <IRQ号> 替换为实际中断号，绑定到特定 CPU 掩码；
# 掩码不能超过 CPU 数量——如 2 CPU 机器最大合法掩码是 3，写 f 会报 "write error: Value too large for defined data type"）
echo f > /proc/irq/<IRQ号>/smp_affinity
# 预期输出：无报错（f 表示绑定到 CPU 0-3，ff 表示 0-7；4 CPU 机器用 f，8 CPU 用 ff）

# 验证亲和性
cat /proc/irq/<IRQ号>/smp_affinity_list
# 预期输出：0-3（或对应 CPU 列表）

# 设置 RPS CPU 掩码（<网卡名> 替换为实际网卡，rx-0 为第一个接收队列）
# ffff 为 16 位 CPU 掩码，表示绑定到 CPU 0-15；CPU 数量超过 16 时需使用更长的掩码
echo ffff > /sys/class/net/<网卡名>/queues/rx-0/rps_cpus
# 预期输出：无报错

# 设置 RPS 流表大小
echo 32768 > /proc/sys/net/core/rps_sock_flow_entries
# 预期输出：无报错

# 验证 RPS 配置
cat /sys/class/net/<网卡名>/queues/rx-0/rps_cpus
# 预期输出：ffff

#通过 ip link 查看网卡真实名称
ip link show

# 查看各队列中断分布是否均衡（虚拟化环境按底层设备名检索，如 virtio）
grep virtio /proc/interrupts
# 预期输出：各队列中断数大致均匀，无单核被打满

# 查看 softirq 网络处理统计（每行对应一个 CPU，数值为 16 进制无前缀格式）
cat /proc/net/softnet_stat
# 预期输出：多行，第二列（drop，16 进制）应为 00000000，
# 第三列（time_squeeze，16 进制）应较小且不持续增长

# 写入 /etc/sysctl.d/ 持久化
cat > /etc/sysctl.d/99-tos-net-tune.conf << 'EOF'
net.core.somaxconn = 65535
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_congestion_control = bbr
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 1048576
net.netfilter.nf_conntrack_max = 1048576
EOF

# 设置 BBR 模块开机自动加载
echo "tcp_bbr" > /etc/modules-load.d/tcp_bbr.conf

# 应用配置
sysctl --system
# 预期输出：* Applying /etc/sysctl.d/99-tos-net-tune.conf ... 并列出各参数值

# 逐项确认关键参数已持久化生效
sysctl net.ipv4.tcp_congestion_control
# 预期输出：net.ipv4.tcp_congestion_control = bbr

sysctl net.core.somaxconn
# 预期输出：net.core.somaxconn = 65535

sysctl net.netfilter.nf_conntrack_max
# 预期输出：net.netfilter.nf_conntrack_max = 1048576

# 加载对应模块
modprobe nf_conntrack
# 确认参数路径出现
ls /proc/sys/net/netfilter/nf_conntrack_max

# 手动加载模块
modprobe tcp_bbr
# 确认 bbr 在可用列表
sysctl net.ipv4.tcp_available_congestion_control
# 若无 bbr，确认内核版本（TencentOS Server 4 内核 6.6 LTS 已内置 BBR 支持）
uname -r

# 确认网卡是否支持队列调整
ethtool -l <网卡名>
# 若输出 Combined queues 后无 "Maximum" 支持，说明不可调整
# 改用 RPS（软件分发）替代硬件 RSS（ffff 为 16 位 CPU 掩码，表示 CPU 0-15，CPU 数量超过 16 时需使用更长的掩码）
echo ffff > /sys/class/net/<网卡名>/queues/rx-0/rps_cpus

# 查看当前 buckets（只读）
cat /sys/module/nf_conntrack/parameters/hashsize
# 通过内核启动参数调整 buckets（需重启，建议值不超过 nf_conntrack_max / 4，最大值受系统内存限制）
grubby --update-kernel=ALL --args="nf_conntrack.hashsize=262144"
# 重启（重启将导致业务中断，请在维护窗口内执行）
reboot
# 重启后确认 buckets 已更新
cat /sys/module/nf_conntrack/parameters/hashsize

# 检查是否有重复定义
grep -r "tcp_congestion_control" /etc/sysctl.conf /etc/sysctl.d/
# 统一放在 /etc/sysctl.d/99-tos-net-tune.conf，删除其他文件中的冲突项
# 确认加载顺序（99- 开头保证最后加载）
sysctl --system