国产操作系统生产环境系统故障深度排查指南

1 国产操作系统环境下的故障排查挑战

随着信息技术应用创新产业的深入推进，国产操作系统（如银河麒麟、中标麒麟、深度等）在生产环境中的部署规模持续扩大。这些基于Linux内核的国产系统虽然继承了开源生态的优势，但也带来了独特的故障排查挑战：硬件兼容性复杂性（如鲲鹏、龙芯、飞腾等国产处理器的差异）、操作系统特异性（各厂商的内核定制和优化）、核心组件异常（如系统组件存在bug导致内存溢出），以及国产化应用生态（如达梦数据库、金仓数据库等特定应用的系统交互）。

在此背景下，系统故障排查不仅需要掌握传统的Linux诊断技能，更需深入理解国产化环境的特殊性。偶发性故障（如因国产CPU弱一致性存储模型引起的内存刷新延迟导致应用异常）、性能异常和稳定性问题在生产环境中往往表现更为复杂，其根源可能涉及硬件、内核、驱动、应用等多个层面，要求运维人员具备全栈式排查能力。

2 国产操作系统架构特点与故障分类

国产操作系统通常采用分层架构：硬件适配层（针对国产CPU和硬件优化）、内核增强层（安全加固和性能优化）、系统服务层（提供国产化系统服务）和应用支撑层（兼容国产中间件和数据库）。这种架构虽然提升了自主可控性和安全性，但也增加了故障排查的复杂度。

生产环境中的系统故障大致可分为以下几类：

• 性能故障：系统响应缓慢，吞吐量下降
• 稳定性故障：系统僵死、服务异常退出、内核恐慌
• 一致性故障：数据错误、内存异常
• 可用性故障：服务中断、集群故障切换

3 核心排查工具与方法论

3.1 系统性排查方法论

有效的故障排查应遵循从外到内、从整体到局部的原则：

1. 确定故障范围：是单点问题还是集群共性问题？是性能问题还是功能问题？
2. 采集系统状态：在故障发生时尽可能全面地保存系统快照
3. 分析关联性：寻找故障与系统事件、配置变更的相关性
4. 定位根因：通过假设验证逐步缩小范围，定位根本原因
5. 实施修复：针对根因制定修复方案，并评估影响
6. 预防复盘：总结故障经验，完善监控和预防措施

3.2 关键排查工具集

国产操作系统环境下，除了通用Linux工具外，还需掌握一些特定工具：

• 系统监控工具：top/htop、sar、vmstat、iostat（分析CPU、内存、IO状况）
• 日志分析工具：journalctl、logwatch、系统日志（/var/log/messages）
• 内核诊断工具：perf、systemtap、dropwatch、ftrace
• 硬件诊断工具：dmidecode、lspci、lscpu
• 国产化增强工具：麒麟系统的KSMC监控框架、达梦数据库性能诊断工具

以下是常用故障排查工具的分类表：

4 典型故障场景与深度排查案例

4.1 案例一：操作系统"soft lockup"导致集群故障切换

问题描述：在中标麒麟系统生产环境中，金仓数据库KingbaseES V8R3集群发生failover切换。原主库（node 12）异常，触发备库（node 11）接管服务。

排查过程：

1. 时间线分析：通过集群日志确定故障时间点为2022-12-08 00:43:32左右
2. 日志关联分析：发现主库sys_log缺失00:45-00:51期间的日志记录
3. 系统日志检查：在/var/log/messages中发现大量"watchdog: BUG: soft lockup - CPU#X stuck"错误
4. 服务状态验证：确认主库集群管理服务(kingbasecluster)和数据库服务(kingbase)均无法正常运行

根因分析：

所谓"soft lockup"是指内核进程或线程被锁死在某个状态（通常在内核区域），导致系统无法正常调度。这通常是由于内核锁使用问题或CPU负载过高导致的。

从系统message日志发现，从"Dec 8 00:43:43"开始，node 12操作系统持续出现soft lockup错误，导致系统假死，数据库服务无法正常运行。备库因无法连接主库，超过阈值后触发failover切换。

解决方案：

• 调整内核参数kernel.watchdog_thresh（默认10秒），但注意不能大于60
• 检查可能导致内核锁冲突的驱动或内核模块
• 监控系统CPU中断和负载情况，确保不会因负载过高导致CPU无法响应中断

4.2 案例二：国产CPU弱一致性存储模型导致进程异常

问题描述：某国产服务器设备（全国产化环境）稳定运行1年后出现应用软件进程异常退出，同时生成coredump文件。

排查过程：

1. 核心转储分析：使用gdb分析coredump，发现进程在调用free()释放内存时异常退出
2. 内存流转跟踪：业务数据通过消息队列在线程间传递，由发送线程申请内存，处理线程释放内存
3. 指针一致性检查：增加调试代码跟踪内存指针变化，发现消息队列中读出的指针值与写入值不一致
4. CPU架构分析：与CPU厂家共同分析，定位到国产CPU弱一致性存储模型问题

根因分析：

该国产CPU采用弱一致性存储模型，每个核有独有缓存（I-Cache、D-Cache）。在消息队列读写同步优化中，多核缓存一致性面临挑战，导致内存刷新延迟，应用软件读到错误指针，从而在释放内存时导致进程异常退出。

解决方案：

• 在关键代码区域增加内存屏障（memory barrier），保证操作有序性
• 验证表明，开启内存屏障后未出现内存刷新延迟，程序运行正常

4.3 案例三：audit服务内存溢出触发OOM-kill数据库

问题描述：银河麒麟V10SP1操作系统上，达梦数据库异常宕机，dmwatcher拉起后仍反复宕机，数据库日志中无报错信息。

排查过程：

1. 系统日志分析：在/var/log/messages中发现dmserver进程被系统oom-kill记录
2. 内存分析：OOM原因为kmalloc申请内存时导致，因内存碎片化申请不到连续内存
3. 上下文排查：发现故障时间点有audit服务内存溢出信息
4. 官方确认：麒麟官方确认audit服务存在bug，会导致内存溢出

根因分析：

操作系统组件audit服务内存溢出，导致达梦数据库申请内存时，无法正常申请到连续内存，触发操作系统kernel异常，强制kill数据库进程。

解决方案：

• 升级操作系统audit组件到audit-3.0-5.se.12.ky10及以上版本
• 在部署达梦数据库前，加入audit组件版本检查步骤

4.4 案例四：虚拟化平台软中断与IO性能瓶颈

问题描述：Cas虚拟化平台上，运行银河麒麟系统的虚拟机出现系统服务中断，智能运维系统登录提示500错误。

排查过程：

1. 软中断分析：系统日志显示虚拟机B和C出现"soft lockup"错误，Call trace集中在smp_call_function_many函数
2. 性能分析：使用sar工具分析系统性能，发现：
   • CPU使用率高，%system和%iowait占用高
   • 系统负载高
   • 磁盘await（IO请求消耗时间）异常，%util（IO请求占用CPU百分比）高
3. 关联性分析：智能运维系统厂商确认故障时间段三台虚拟机均出现网络连通性问题

根因分析：

磁盘IO性能瓶颈导致系统负载高，CPU忙于等待IO操作，无法正常响应中断请求，进而引发软中断。系统软中断不是服务中断的直接原因，而是IO性能问题的表现。

解决方案：

• 排查虚拟化平台宿主机日志，分析IO性能瓶颈根源
• 优化虚拟机存储配置，确保足够的IOPS和带宽
• 调整系统IO调度策略和文件系统参数

5 高级诊断技术与实践

5.1 内核级诊断技术

对于深层次系统故障，需要采用内核级诊断技术：

• Ftrace跟踪：跟踪内核函数调用，分析内核行为# 跟踪所有内核函数调用 echo function > /sys/kernel/debug/tracing/current_tracer echo 1 > /sys/kernel/debug/tracing/tracing_on # 运行复现操作 echo 0 > /sys/kernel/debug/tracing/tracing_on cat /sys/kernel/debug/tracing/trace
• Kprobe动态插桩：在特定内核函数插入调试代码，收集参数和返回值# 在kmalloc入口处添加probe echo 'p:myprobe kmalloc size=%di flags=%si' > /sys/kernel/debug/tracing/kprobe_events echo 1 > /sys/kernel/debug/tracing/events/kprobes/myprobe/enable

5.2 性能剖析与优化

针对性能类故障，需要使用高级剖析工具：

• Perf CPU剖析：分析CPU使用热点和缓存命中率# 系统级CPU剖析 perf record -a -g -- sleep 30 perf report --stdio
• eBPF动态跟踪：新一代内核跟踪技术，可安全动态地跟踪内核和用户程序# 使用bpftrace跟踪open系统调用 bpftrace -e 'tracepoint:syscalls:sys_enter_open { printf("%s %s\n", comm, str(args->filename)); }'

6 国产环境特定故障预防策略

6.1 硬件兼容性优化

• CPU特性适配：针对国产CPU的弱一致性模型，在关键代码路径增加内存屏障
• NUMA优化：针对多路服务器，优化NUMA内存分配策略，减少跨NUMA访问
• 中断平衡：调整中断亲和性，平衡多核CPU中断处理负载

6.2 内核参数调优

根据国产硬件特性和应用需求，调整内核参数：

# 内存管理优化
vm.overcommit_memory = 2
vm.overcommit_ratio = 80
vm.swappiness = 10

# 网络堆栈优化
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216

# 文件系统优化
vm.dirty_ratio = 10
vm.dirty_background_ratio = 5
vm.dirty_writeback_centisecs = 500

6.3 监控体系构建

建立全方位的监控体系，提前发现系统异常：

• 硬件层监控：CPU温度、内存ECC错误、硬盘SMART状态
• 内核层监控：软中断频率、内存碎片化程度、slab分配器状态
• 应用层监控：关键服务心跳、业务交易响应时间、数据库连接池状态

7 总结与展望

国产操作系统生产环境下的系统故障排查是一项复杂而具有挑战性的任务，需要运维人员深入理解国产硬件特性、内核原理和应用行为。通过本文介绍的系统化方法论、工具集和典型案例，希望能够帮助运维人员提升故障排查能力。

未来，随着国产化替代的深入推进，故障排查技术也将向智能化、自动化方向发展。基于机器学习的异常检测、根因分析自动定位和自愈系统将成为运维标准能力。麒麟软件已申请的"一种快速定位导致操作系统偶现性故障的问题的方法"专利正是这一趋势的体现。

运维人员需要不断学习和掌握新技术、新工具，深入理解国产软硬件平台的特点和特性，才能在生产环境系统故障排查中游刃有余，保障关键业务系统的稳定运行。