诊断工具与方法：从OS到数据库

最近在“云和恩墨微信大讲堂”中，有很多朋友遇到性能问题，但是往往没有及时的诊断信息。我将之前书中的一章摘录出来和大家略为分享。

在数据库系统的诊断中，通常须要综合分析两个方面的因素：

• 主机系统的采样分析数据；
• 数据库系统的采样分析数据。

其中主机的采样数据可以通过操作系统的相关工具来收集，Nmon（可以用于AIX和Linux）和Oracle的OSWatcher都是很不错的轻量级采样工具；数据库的采样分析数据则可以通过Oracle的AWR采样数据获得，前者需要手工部署，后者自Oracle Database 10g开始，默认即会启用，不间断收集数据库运行状况（默认每小时采样一次，采样数据保留7天）。

Nmon和OSWatcher

对于主机采样工具，Nmon与OSWatcher原理类似，都是通过系统级工具（如iostat、vmstat、netstat、mpstat、top等）进行指定间隔的采样，将采样数据记录到日志文件中，通过分析这些数据得到系统运行的性能曲线。

Nmon既可以独立运行，动态展示当前系统数据，也可以在后台自动收集系统运行数据，图18-1是Nmon直接运行可以看到Logo的展示页面：

图18-1 Nmon直接运行下Logo的展示页面截图

对于Nmon收集的数据，IBM提供了NMON_ANALYSER工具，该工具以Nmon性能工具采样生成的文件作为输入，然后将它们转换为 Microsoft Excel 电子表格，并自动生成相应的图形，非常直观和方便，图18-2是一张Nmon生成的曲线截图，通过概要图可以看到系统整体的CPU、IO等负荷变化情况。

图18-2 一张Nmon生成的曲线截图

而OSWatcher则是Oracle公司出品的一款系统性能监控工具，支持常见主流操作系统（Windows、Linux、AIX、HP-UX、Solaris等），图18-3是其有趣的Logo：

图18-3 OSWatcher的Logo

参考MOS文档：OSWatcher (Includes: [Video]) (Doc ID 301137.1)，截止February 27, 2015其版本已经到了 7.3.3 。

OSWatcher在收集了采样数据之后同样可以生成图表曲线，用于展示系统性能变化，图18-4是使用这款工具生成的系统内存使用变化曲线：

图18-4 OSWatcher生成的图表曲线

这两款工具原理简单，部署方便，对系统性能影响极小，如果没有其他的系统监控工具，完全可以考虑用它们收集至关重要的操作系统性能数据。

AWR采样数据库性能数据

从Oracle Database 10g开始，Oracle将原本由Statspack提供的功能进一步强化，推出了AWR（Automatic Workload Repository，自动工作负载库）功能，AWR默认每小时采样一次性能数据，记录在SYSAUX表空间中，数据默认保留7天。和AWR相辅助的，ASH、ADDM、SQL Monitor都是诊断分析的好助手。

而以AWR为基础推出的Oracle Database/Grid Control则更是从管理、监控工具上更上一层楼，通过Web形式的展现将数据库的运行状况全面展现出来，图18-5就是Grid Control的动态展示之一：

图18-5 Grid Control的动态展示截图

ASH、AWR、ADDM等众多新的特性，结合Database/Grid Control展现出来，为Oracle Database的管理和监控数据库带来了极大的便利。

但是要注意的是Database/Grid Control并不是一个免费的工具，其中的很多功能都须单独付费（要单独付费的组件包括Diagnostics Pack、Tuning Pack、Change Management Pack、ConfigurationManagement Pack、Provisioning Pack for Database、Data Masking Pack等）。

Database/Grid Control中最常用的组件是Diagnostics Pack，这个组件提供自动的性能诊断和高级的系统监控功能，包含如下主要特点和功能：

• Automatic Workload Repository；
• Automatic Database Diagnostic Monitor(ADDM)；
• Active Session History (ASH)；
• Performance monitoring (database and host)；
• Event notifications: notification methods, rules, and schedules；
• Event history and metric history (database and host)；
• Blackouts；
• Dynamic metric baselines；
• Monitoring templates；
• Memory-access based performance monitoring；
• Supporting functionality to perform per stream bottleneck detectionand per component top wait event analysis。

为了使用如上特性或功能，在授权上都须购买Diagnostic Pack，在Oracle Database 11g中，一个新的初始化参数被引入用于控制Diagnostic Pack和Tuning Pack的使用，这个参数是CONTROL_MANAGEMENT_ PACK_ACCESS，该参数有三个可选值。

1. DIAGNOSTIC+TUNING：指DiagnosticPack and Tuning Pack功能均启用；

2. DIAGNOSTIC：仅DiagnosticPack启用；

3. NONE：DiagnosticPack 和 Tuning pack 均被禁止。

这些Pack功能可以通过Enterprise Manager和命令行API调用来访问，当然这些访问同样需要License的授权。

但是存在一些例外，我们知道AWR的很多历史数据通过字典表来记录，可以通过查询这些字典来获得数据库系统运行的性能数据，但是需要了解的是，所有以DBA_HIST_开头的字典都需要License的授权，除了在Oracle Database 11g中，Oracle标识了以下例外：

DBA_HIST_SNAPSHOT,DBA_HIST_DATABASE_INSTANCE； DBA_HIST_SNAP_ERROR, DBA_HIST_SEG_STAT； DBA_HIST_SEG_STAT_OBJ, DBA_HIST_UNDOSTAT。

也就是说这些视图可以免费使用。当然这些都只是授权上的约束，在初始安装后，这些功能都被启用。

在有了主机系统和数据库的连续采样数据之后，我们就可以对整个系统的运行状况进行全面的分析了，不仅可以更清晰地了解数据库的正常运行指标，更可以在数据库出现问题时快速定位与解决。

诊断案例一则

在一次客户现场服务中，客户报告了一个Weblogic 503错误（503——Service Unavailable），出现这个错误时，客户端新发起的连接会暂时无法得到响应，这极有可能是数据库的响应时间过长，导致weblogic请求超时所致。

首先根据OSWatcher收集的系统信息来生成负荷曲线（如图18-6所示），我们发现在客户报告问题的一段时间内（1:55~2:15），系统的磁盘IO繁忙程度达到了100%。

通过Database Control工具可以清晰地看到（如图18-7所示），在该时段，数据库明显经历了一个读取高峰，User I/O等待显著，这表明数据库在执行大量I/O访问操作。

图18-6 OSWatcher生成的系统负荷曲线

图18-7 Database Control生成的系统负荷图

通过进一步深入，可以发现在这个时段，SQL活动列表中第一个SQL消耗了近50%的资源，如图18-8所示。

图18-8 SQL活动列表截图

捕获系统数据，此时执行的SQL如图18-9所示（这样的SQL在系统中极为常见），而SQL优化往往是数据库优化的核心。

图18-9 捕获的高资源消耗的SQL信息

这样我们就可以分析出整个系统性能下降的过程：

查询SQL导致大量IO访问，IO压力升高导致磁盘100% 繁忙，进而使整个系统因为IO响应缓慢出现性能问题，数据库无法及时响应连接请求，进而导致客户端经由中间件报出503错误。

此数据库系统的性能问题就在于大量并发查询的SQL导致IO访问量过高，IO量过高则意味着响应缓慢。为缓解此类系统性能问题，除进一步优化程序和SQL之外，我们可以将IO访问频繁的数据表缓存在内存中，从而降低物理IO访问，提升系统响应速度。这是经过验证的有效手段，我们在多个客户环境通过这一技术大幅度提升了性能。

当然，在今天完备的监控手段之下，能够通过更加直观的手段获取监控信息，但是无论如何，当DBA接手一个数据库系统时，仍然要谨记：记录和获取完整的信息，是性能诊断和分析的基础。

文章来源：《OracleDBA手记1》第18章表碎片及分页查询优化 作者：盖国强