诊断工具与方法:从OS到数据库

最近在“云和恩墨微信大讲堂”中,有很多朋友遇到性能问题,但是往往没有及时的诊断信息。我将之前书中的一章摘录出来和大家略为分享。

在数据库系统的诊断中,通常须要综合分析两个方面的因素:

  • 主机系统的采样分析数据;
  • 数据库系统的采样分析数据。

其中主机的采样数据可以通过操作系统的相关工具来收集,Nmon(可以用于AIX和Linux)和Oracle的OSWatcher都是很不错的轻量级采样工具;数据库的采样分析数据则可以通过Oracle的AWR采样数据获得,前者需要手工部署,后者自Oracle Database 10g开始,默认即会启用,不间断收集数据库运行状况(默认每小时采样一次,采样数据保留7天)。

Nmon和OSWatcher

对于主机采样工具,Nmon与OSWatcher原理类似,都是通过系统级工具(如iostat、vmstat、netstat、mpstat、top等)进行指定间隔的采样,将采样数据记录到日志文件中,通过分析这些数据得到系统运行的性能曲线。

Nmon既可以独立运行,动态展示当前系统数据,也可以在后台自动收集系统运行数据,图18-1是Nmon直接运行可以看到Logo的展示页面:

图18-1 Nmon直接运行下Logo的展示页面截图

对于Nmon收集的数据,IBM提供了NMON_ANALYSER工具,该工具以Nmon性能工具采样生成的文件作为输入,然后将它们转换为 Microsoft Excel 电子表格,并自动生成相应的图形,非常直观和方便,图18-2是一张Nmon生成的曲线截图,通过概要图可以看到系统整体的CPU、IO等负荷变化情况。

图18-2 一张Nmon生成的曲线截图

而OSWatcher则是Oracle公司出品的一款系统性能监控工具,支持常见主流操作系统(Windows、Linux、AIX、HP-UX、Solaris等),图18-3是其有趣的Logo:

图18-3 OSWatcher的Logo

参考MOS文档:OSWatcher (Includes: [Video]) (Doc ID 301137.1),截止February 27, 2015其版本已经到了 7.3.3

OSWatcher在收集了采样数据之后同样可以生成图表曲线,用于展示系统性能变化,图18-4是使用这款工具生成的系统内存使用变化曲线:

图18-4 OSWatcher生成的图表曲线

这两款工具原理简单,部署方便,对系统性能影响极小,如果没有其他的系统监控工具,完全可以考虑用它们收集至关重要的操作系统性能数据。

AWR采样数据库性能数据

从Oracle Database 10g开始,Oracle将原本由Statspack提供的功能进一步强化,推出了AWR(Automatic Workload Repository,自动工作负载库)功能,AWR默认每小时采样一次性能数据,记录在SYSAUX表空间中,数据默认保留7天。和AWR相辅助的,ASH、ADDM、SQL Monitor都是诊断分析的好助手。

而以AWR为基础推出的Oracle Database/Grid Control则更是从管理、监控工具上更上一层楼,通过Web形式的展现将数据库的运行状况全面展现出来,图18-5就是Grid Control的动态展示之一:

图18-5 Grid Control的动态展示截图

ASH、AWR、ADDM等众多新的特性,结合Database/Grid Control展现出来,为Oracle Database的管理和监控数据库带来了极大的便利。

但是要注意的是Database/Grid Control并不是一个免费的工具,其中的很多功能都须单独付费(要单独付费的组件包括Diagnostics Pack、Tuning Pack、Change Management Pack、ConfigurationManagement Pack、Provisioning Pack for Database、Data Masking Pack等)

Database/Grid Control中最常用的组件是Diagnostics Pack,这个组件提供自动的性能诊断和高级的系统监控功能,包含如下主要特点和功能:

  • Automatic Workload Repository;
  • Automatic Database Diagnostic Monitor(ADDM);
  • Active Session History (ASH);
  • Performance monitoring (database and host);
  • Event notifications: notification methods, rules, and schedules;
  • Event history and metric history (database and host);
  • Blackouts;
  • Dynamic metric baselines;
  • Monitoring templates;
  • Memory-access based performance monitoring;
  • Supporting functionality to perform per stream bottleneck detectionand per component top wait event analysis。

为了使用如上特性或功能,在授权上都须购买Diagnostic Pack,在Oracle Database 11g中,一个新的初始化参数被引入用于控制Diagnostic Pack和Tuning Pack的使用,这个参数是CONTROL_MANAGEMENT_ PACK_ACCESS,该参数有三个可选值。

1. DIAGNOSTIC+TUNING:指DiagnosticPack and Tuning Pack功能均启用;

2. DIAGNOSTIC:仅DiagnosticPack启用;

3. NONE:DiagnosticPack 和 Tuning pack 均被禁止。

这些Pack功能可以通过Enterprise Manager和命令行API调用来访问,当然这些访问同样需要License的授权。

但是存在一些例外,我们知道AWR的很多历史数据通过字典表来记录,可以通过查询这些字典来获得数据库系统运行的性能数据,但是需要了解的是,所有以DBA_HIST_开头的字典都需要License的授权,除了在Oracle Database 11g中,Oracle标识了以下例外:

DBA_HIST_SNAPSHOT,DBA_HIST_DATABASE_INSTANCE; DBA_HIST_SNAP_ERROR, DBA_HIST_SEG_STAT; DBA_HIST_SEG_STAT_OBJ, DBA_HIST_UNDOSTAT。

也就是说这些视图可以免费使用。当然这些都只是授权上的约束,在初始安装后,这些功能都被启用。

在有了主机系统和数据库的连续采样数据之后,我们就可以对整个系统的运行状况进行全面的分析了,不仅可以更清晰地了解数据库的正常运行指标,更可以在数据库出现问题时快速定位与解决。

诊断案例一则

在一次客户现场服务中,客户报告了一个Weblogic 503错误(503——Service Unavailable),出现这个错误时,客户端新发起的连接会暂时无法得到响应,这极有可能是数据库的响应时间过长,导致weblogic请求超时所致。

首先根据OSWatcher收集的系统信息来生成负荷曲线(如图18-6所示),我们发现在客户报告问题的一段时间内(1:55~2:15),系统的磁盘IO繁忙程度达到了100%。

通过Database Control工具可以清晰地看到(如图18-7所示),在该时段,数据库明显经历了一个读取高峰,User I/O等待显著,这表明数据库在执行大量I/O访问操作。

图18-6 OSWatcher生成的系统负荷曲线

图18-7 Database Control生成的系统负荷图

通过进一步深入,可以发现在这个时段,SQL活动列表中第一个SQL消耗了近50%的资源,如图18-8所示。

图18-8 SQL活动列表截图

捕获系统数据,此时执行的SQL如图18-9所示(这样的SQL在系统中极为常见),而SQL优化往往是数据库优化的核心

图18-9 捕获的高资源消耗的SQL信息

这样我们就可以分析出整个系统性能下降的过程:

查询SQL导致大量IO访问,IO压力升高导致磁盘100% 繁忙,进而使整个系统因为IO响应缓慢出现性能问题,数据库无法及时响应连接请求,进而导致客户端经由中间件报出503错误。

此数据库系统的性能问题就在于大量并发查询的SQL导致IO访问量过高,IO量过高则意味着响应缓慢。为缓解此类系统性能问题,除进一步优化程序和SQL之外,我们可以将IO访问频繁的数据表缓存在内存中,从而降低物理IO访问,提升系统响应速度。这是经过验证的有效手段,我们在多个客户环境通过这一技术大幅度提升了性能。

当然,在今天完备的监控手段之下,能够通过更加直观的手段获取监控信息,但是无论如何,当DBA接手一个数据库系统时,仍然要谨记:记录和获取完整的信息,是性能诊断和分析的基础。

文章来源:《OracleDBA手记1》第18章表碎片及分页查询优化 作者:盖国强

原文发布于微信公众号 - 数据和云(OraNews)

原文发表时间:2015-12-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏微信终端开发团队的专栏

微信终端跨平台组件 Mars 系列(三):连接超时与 IP & Port 排序

Mars 系列开始,将为大家介绍 STN(信令传输网络模块)。由于 STN 的复杂性,该模块将被分解为多个篇章进行介绍。本文主要介绍微信中关于 socket 连...

5890
来自专栏IT技术精选文摘

分布式锁的技术选型及思考

1943
来自专栏美码师

完美数据迁移-MongoDB Stream的应用

最近微服务架构火的不行,但本质上也只是风口上的一个热点词汇。 作为笔者的经验来说,想要应用一个新的架构需要带来的变革成本是非常高的。

1062
来自专栏技术记录

Dubbo(二) 认识Zookeeper

前言 在昨天,我们给大家基本介绍了Dubbo,文中反复提到了Zookeeper,那么它到底是什么呢,这篇文章我们将从Dubbo层面去了解Zookeeper,不做...

2278
来自专栏云技术活动

由浅入深 SCF 无服务器云函数实践

近年来,互联网服务从一开始的物理服务器托管,虚拟机,容器,发展到现在的云函数,逐步无服务器化。

6925
来自专栏一个会写诗的程序员的博客

《MongoDB极简教程》第一章 NoSQL简史 & MongoDB安装&环境配置NoSQLNoSQL 简史CAP定理(CAP theorem)BASEMongoDB 特性&优势文档参考安装&环境配置

MongoDB 是一款开源的文档数据库,并且是业内领先的 NoSQL 数据库,用 C++ 编写而成。

653
来自专栏王燚的专栏

腾讯云大数据平台的产品组件介绍及测试方法

本文将基于数据采集->数据存储->数据处理->数据展现的生命周期,描述一些大数据平台中使用的一些技术,对技术的框架、使用场景进行描述。

1.3K0
来自专栏数据和云

警示:一个专为AIX上12.1版本定制的Bug正在发生

题记:一些用户在使用 Oracle Database 12.1 版本时(包含12.1.0.1 和 12.1.0.2 初始版本),再次遭遇到一个『专门为 AIX ...

3457
来自专栏乐沙弥的世界

Oracle AWR特性描述

AWR是Automatic Workload Repository的简称,中文叫着自动工作量资料档案库。既然是仓库,又是保存负载数据,所以保存的是数据库性能相关...

571
来自专栏码洞

Raft协议精解

这个和日志复制的机制有关系。首先对于选举,PK的条件不是拼这两个索引值的大小,PK的是最后一条日志的任期号和日志的长度。Leader当选后进行第一次日志复制时,...

804

扫码关注云+社区