故障分析:一则library cache lock问题处理

编辑手记:library cache lock 大家都并不陌生,在MOS上对该阻塞的一般成因描述为:一般可以理解的是alter table或者alter package/procedure会以X模式持有library cache lock,造成阻塞(444560.1)。但针对具体问题仍要具体分析,今天分享一则因SQL绑定变量出现空值,导致大量子游标产生并引发library cache lock 的故障,供大家参考借鉴。

请故障现象及影响

某数据库为Oracle 11.2.0.3.9 RAC Linux 64bit,一天晚上9点左右,业务系统反应缓慢,数据库曾发现有大量library cache lock等待事件,并伴随有library cache:mutex X,导致业务系统短暂无法正常提供业务处理

问题分析

当天起发现数据库有大量librarycache lock,平均等待有1775ms ,并伴随有librarycache: mutex X。

观察ASH报告,等待library cache lock会话在执行SQL如下

对比上周同一天的AWR,这个SQL执行的次数差不多,大概半小时7万次左右,但在23号的AWR中,该SQL在Order by Version Count出现,Version Count为76(实际上在v$sql中发现有2万个 不同CHILD_ADDRESS出现),说明该SQL产生过2万个子游标。这里也看到其他SQL High Version,但由于其他SQL执行没有0pjnn575vchbg频繁,并不引发library cache lock等待。

该SQL已占用了1GB的共享池空间

结合数据库版本和环境情形,初步推断为ACS BUG引发。但在关闭ACS特性后,library cache lock等待事件与子游标依然存在。

这样排除了ACS BUG引起后。观察V$SQL_SHARED_CURSOR中大量BIND_MISMATCH,但BIND_MISMATCH根据Oracle的规则,只有5,6种不同的可能性,不至于产生2万个子游标。进一不查看V$SQL_BIND_CAPTURE发现绑定变量值中,出现异常的varchar2类型,且值为空。结合Bug 8198150 - High Versioncount with bind_mismatch with passing null value to bind (文档 ID 8198150.8),推断该SQL绑定变量时输入了空值,导致产生大量子游标。在V$SQL_BIND_CAPTURE视图中表现为VARCHAR2类型(varchar2为Oracle默认类型,null值无类型则为Oracle默认类型)。

应用做调整限制SQL绑定NULL输入后,SQL正常,无子游标产生。

处理过程总结

  • 通过故障的情况相关信息初步推断为ACS(自适应)bug引起。
  • 在关闭ACS特性后观察,SQL子游标和librarycache lock等待事件依然存在。
  • 进步分析并通过测试确认,原因由于SQL绑定变量输入null值触发BUG,导致会产生大量子游标,引发library cache lock等待。在应用代码中将null限制后SQL正常

后续工作建议

  • 应用端严格限制非合理的绑定变量时null值输入。
  • 建议给数据库打上最新PSU,避免触发各BUG,提高系统健壮性。

原文发布于微信公众号 - 数据和云(OraNews)

原文发表时间:2016-10-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏性能与架构

Mysql 压力测试工具 mysqlslap

mysqlslap 是 Mysql 自带的压力测试工具,可以模拟出大量客户端同时操作数据库的情况,通过结果信息来了解数据库的性能状况 mysqlslap 的一个...

5695
来自专栏鸿的学习笔记

Spanner和一致性(待续)

前几天读了一篇文章[一致性模型](https://www.jianshu.com/p/3673e612cce2),发现自己也有也有一些知识点遗漏了,遂写下此文作...

1082

使用 Excel 分析 CloudStack 使用记录

注:本文最初由 David Nailey 在 Build a Cloud 博客上撰写。

2049
来自专栏杨建荣的学习笔记

一则orabbix报警的分析(r6笔记第65天)

最近使用zabbix监控之后,都会在凌晨收到1台数据库服务器的报警短信,报警的内容为: No data received from Orabbix 这个错误其实...

3018
来自专栏量化投资与机器学习

战斗民族开源神器ClickHouse:一款适合于构建量化回测研究系统的高性能列式数据库(二)

编辑部原创 编译:wally21st、 西西 未经允许,不得转载 Tutorial 对于一些私募、投资机构和个人来说,量化投资研究、回测离不开数据的支持。当数据...

2K6
来自专栏JAVA高级架构

一张思维导图学会如何构建高性能MySQL系统

一、简介 最近在压测新的存储,正好把工作过程中积累的对高性能MySQL相关的知识体系构建起来,做成思维导图的方式。总结乃一家之言,有不妥之处,望给位读者朋友...

4217
来自专栏MongoDB中文社区

MongoDB事务模型分析

在了解写操作的事务性之前,需要先了解mongo层的每一个table,是如何与wiredtiger层的table(btree)对应的。mongo层一个最简单的ta...

1682
来自专栏沃趣科技

Oracle Real Time SQL Monitoring

术语说明 TableQueue,消息缓冲区,在并行操作中使用,用于PX进程之间的通信,或者PX进程与QC进程之间的通信,是内存中的一些page,每个消息缓冲区的...

4398
来自专栏周奇的专栏

【数据库评测报告】MyRocks VS MySQL57

facebook 开源了他们的 Zstandard 压缩算法和 MyRocks 存储引擎,而MyRocks 是基于 rocksdb 引擎嵌入到 MySQL5.6...

1.6K0
来自专栏Netkiller

数据库与图片完美解决方案

数据库与图片完美解决方案 电商商品图品与数据库脏数据完美解决方案 摘要 你是是不是在开发中常常遇到,删除了数据库记录后,发现该记录对应的图片没有删除,或者删除了...

3245

扫码关注云+社区