最近在“云和恩墨微信大讲堂”中,有很多朋友遇到性能问题,但是往往没有及时的诊断信息。我将之前书中的一章摘录出来和大家略为分享。
在数据库系统的诊断中,通常须要综合分析两个方面的因素:
其中主机的采样数据可以通过操作系统的相关工具来收集,Nmon(可以用于AIX和Linux)和Oracle的OSWatcher都是很不错的轻量级采样工具;数据库的采样分析数据则可以通过Oracle的AWR采样数据获得,前者需要手工部署,后者自Oracle Database 10g开始,默认即会启用,不间断收集数据库运行状况(默认每小时采样一次,采样数据保留7天)。
Nmon和OSWatcher
对于主机采样工具,Nmon与OSWatcher原理类似,都是通过系统级工具(如iostat、vmstat、netstat、mpstat、top等)进行指定间隔的采样,将采样数据记录到日志文件中,通过分析这些数据得到系统运行的性能曲线。
Nmon既可以独立运行,动态展示当前系统数据,也可以在后台自动收集系统运行数据,图18-1是Nmon直接运行可以看到Logo的展示页面:
图18-1 Nmon直接运行下Logo的展示页面截图
对于Nmon收集的数据,IBM提供了NMON_ANALYSER工具,该工具以Nmon性能工具采样生成的文件作为输入,然后将它们转换为 Microsoft Excel 电子表格,并自动生成相应的图形,非常直观和方便,图18-2是一张Nmon生成的曲线截图,通过概要图可以看到系统整体的CPU、IO等负荷变化情况。
图18-2 一张Nmon生成的曲线截图
而OSWatcher则是Oracle公司出品的一款系统性能监控工具,支持常见主流操作系统(Windows、Linux、AIX、HP-UX、Solaris等),图18-3是其有趣的Logo:
图18-3 OSWatcher的Logo
参考MOS文档:OSWatcher (Includes: [Video]) (Doc ID 301137.1),截止February 27, 2015其版本已经到了 7.3.3 。
OSWatcher在收集了采样数据之后同样可以生成图表曲线,用于展示系统性能变化,图18-4是使用这款工具生成的系统内存使用变化曲线:
图18-4 OSWatcher生成的图表曲线
这两款工具原理简单,部署方便,对系统性能影响极小,如果没有其他的系统监控工具,完全可以考虑用它们收集至关重要的操作系统性能数据。
AWR采样数据库性能数据
从Oracle Database 10g开始,Oracle将原本由Statspack提供的功能进一步强化,推出了AWR(Automatic Workload Repository,自动工作负载库)功能,AWR默认每小时采样一次性能数据,记录在SYSAUX表空间中,数据默认保留7天。和AWR相辅助的,ASH、ADDM、SQL Monitor都是诊断分析的好助手。
而以AWR为基础推出的Oracle Database/Grid Control则更是从管理、监控工具上更上一层楼,通过Web形式的展现将数据库的运行状况全面展现出来,图18-5就是Grid Control的动态展示之一:
图18-5 Grid Control的动态展示截图
ASH、AWR、ADDM等众多新的特性,结合Database/Grid Control展现出来,为Oracle Database的管理和监控数据库带来了极大的便利。
但是要注意的是Database/Grid Control并不是一个免费的工具,其中的很多功能都须单独付费(要单独付费的组件包括Diagnostics Pack、Tuning Pack、Change Management Pack、ConfigurationManagement Pack、Provisioning Pack for Database、Data Masking Pack等)。
Database/Grid Control中最常用的组件是Diagnostics Pack,这个组件提供自动的性能诊断和高级的系统监控功能,包含如下主要特点和功能:
为了使用如上特性或功能,在授权上都须购买Diagnostic Pack,在Oracle Database 11g中,一个新的初始化参数被引入用于控制Diagnostic Pack和Tuning Pack的使用,这个参数是CONTROL_MANAGEMENT_ PACK_ACCESS,该参数有三个可选值。
1. DIAGNOSTIC+TUNING:指DiagnosticPack and Tuning Pack功能均启用;
2. DIAGNOSTIC:仅DiagnosticPack启用;
3. NONE:DiagnosticPack 和 Tuning pack 均被禁止。
这些Pack功能可以通过Enterprise Manager和命令行API调用来访问,当然这些访问同样需要License的授权。
但是存在一些例外,我们知道AWR的很多历史数据通过字典表来记录,可以通过查询这些字典来获得数据库系统运行的性能数据,但是需要了解的是,所有以DBA_HIST_开头的字典都需要License的授权,除了在Oracle Database 11g中,Oracle标识了以下例外:
DBA_HIST_SNAPSHOT,DBA_HIST_DATABASE_INSTANCE; DBA_HIST_SNAP_ERROR, DBA_HIST_SEG_STAT; DBA_HIST_SEG_STAT_OBJ, DBA_HIST_UNDOSTAT。
也就是说这些视图可以免费使用。当然这些都只是授权上的约束,在初始安装后,这些功能都被启用。
在有了主机系统和数据库的连续采样数据之后,我们就可以对整个系统的运行状况进行全面的分析了,不仅可以更清晰地了解数据库的正常运行指标,更可以在数据库出现问题时快速定位与解决。
诊断案例一则
在一次客户现场服务中,客户报告了一个Weblogic 503错误(503——Service Unavailable),出现这个错误时,客户端新发起的连接会暂时无法得到响应,这极有可能是数据库的响应时间过长,导致weblogic请求超时所致。
首先根据OSWatcher收集的系统信息来生成负荷曲线(如图18-6所示),我们发现在客户报告问题的一段时间内(1:55~2:15),系统的磁盘IO繁忙程度达到了100%。
通过Database Control工具可以清晰地看到(如图18-7所示),在该时段,数据库明显经历了一个读取高峰,User I/O等待显著,这表明数据库在执行大量I/O访问操作。
图18-6 OSWatcher生成的系统负荷曲线
图18-7 Database Control生成的系统负荷图
通过进一步深入,可以发现在这个时段,SQL活动列表中第一个SQL消耗了近50%的资源,如图18-8所示。
图18-8 SQL活动列表截图
捕获系统数据,此时执行的SQL如图18-9所示(这样的SQL在系统中极为常见),而SQL优化往往是数据库优化的核心。
图18-9 捕获的高资源消耗的SQL信息
这样我们就可以分析出整个系统性能下降的过程:
查询SQL导致大量IO访问,IO压力升高导致磁盘100% 繁忙,进而使整个系统因为IO响应缓慢出现性能问题,数据库无法及时响应连接请求,进而导致客户端经由中间件报出503错误。
此数据库系统的性能问题就在于大量并发查询的SQL导致IO访问量过高,IO量过高则意味着响应缓慢。为缓解此类系统性能问题,除进一步优化程序和SQL之外,我们可以将IO访问频繁的数据表缓存在内存中,从而降低物理IO访问,提升系统响应速度。这是经过验证的有效手段,我们在多个客户环境通过这一技术大幅度提升了性能。
当然,在今天完备的监控手段之下,能够通过更加直观的手段获取监控信息,但是无论如何,当DBA接手一个数据库系统时,仍然要谨记:记录和获取完整的信息,是性能诊断和分析的基础。
文章来源:《OracleDBA手记1》第18章表碎片及分页查询优化 作者:盖国强