insert into太慢?Roger 带你找真凶

李真旭(Roger)

ACOUG 核心专家,Oracle ACE,云和恩墨技术专家

编辑手记:昨天谈到索引并不是万能的,事实上很多无用的索引给数据库带来很大的维护负担,事实并不止于此,今天拣选Roger的文章,跟大家分享索引引发的其他性能问题。

问题描述

运营商客户的计费库反应其入库程序很慢,应用方通过监控程序发现主要慢在对于几个表的insert操作上。按照我们的通常理解,insert应该是极快的,为什么会很慢呢?而且反应之前挺好的。这有点让我百思不得其解。通过检查event也并没有发现什么奇怪的地方,于是我通过10046 跟踪了应用的入库程序,如下应用方反应比较慢的表的insert操作,确实非常慢,如下所示:

我们可以发现,insert了4579条数据,一共花了27.41秒;其中有24.02秒是处于等待的状态。而且等待事件为顺序读.很明显这通常是索引的读取操作,实际上检查10046 trace 裸文件,发现等待的对象确实是该表上的2个index。

同时我们从上面10046 trace可以看出,该SQL执行之所以很慢,主要是因为存在了大量的物理读,其中4579条数据的insert,物理读为4534;这说明什么问题呢? 这说明,每插入一条数据大概产生一个物理读,而且都是index block的读取。很明显,通过将该index cache到keep 池可以解决该问题。 实际上也确实如此,通过cache后,应用反馈程序快了很多。

那么对该问题,这里其实有几个疑问,为什么这里的SQL insert时物理读如此之高? oracle的keep pool对于缓存对象的清理机制是如何的?

下面我们通过一个简单的实验来进行说明。

首先我们创建2个测试表,并创建好相应的index,如下所示:

创建表和索引并插入数据

从前面的信息我们可以看出,object_name上的index其实聚簇因子比较高,说明其数据分布比较离散。

接着我们现在将index都cache 到keep 池中,如下:

这里需要注意的是,仅仅执行alter 命令是不够的,我们还需要手工将index block读取到keep池中,如下:

第一次读取并检查

第二次读取并检查

第三次读取并检查

我们可以大致看出,db keep pool 也是存在LRU的,而且对于block的清除机制是先进先出原则。那么为什么前面的问题中,insert会突然变慢呢?

下面我们来进行3次insert 测试。

第一次

使用10046事件跟踪

第二次

第三次

使用10046事件跟踪

从测试来看,随着表的数据越来越大,insert的效率会越来越低,也其实主要在于index的问题。我们可以发现,3次测试过程中,物理读越来越大,而且db file sequential read的等待时间分别从0.5秒,增加到0.56秒,最后增加到1.07秒。 为什么会出现这样的情况呢?

随着表数据的日益增加,导致表上的index也不断增大,同时index的离散度比较高,这样就导致每次insert时,oracle在进行index block读取时,可能在buffer cache中都无法命中相应的block;这样就会导致每次读取需要的index block时,可能都要进行物理读,这势必会导致性能问题的出现。同时默认的default buffer cache pool虽然也可以缓存index 块,但是也要同时缓存其他的数据块,这样很容易导致相关的index block被从buffer cache pool中移走。所以这也是前面为什么需要将index cache到keep 池的原因。

----the end

原文发布于微信公众号 - 数据和云(OraNews)

原文发表时间:2016-09-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏WeaponZhi

使用Python快速获取公众号文章定制电子书(一)

因为工作原因,小之停更了一段时间,发生了很多事,不过从今天开始,我将会满血复活。这篇文章将分享一个我最近写的 Python 相关的小 demo 。爬取某个公众号...

1024
来自专栏拂晓风起

Access、SQLite、HSQLDB、Sybase、MySQL、DB4O

1194
来自专栏开源项目

码云推荐 | J2EE 快速开发平台 renren-security-boot

renren-security-boot 是一款基于代码生成器的 J2EE 快速开发平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展;使用 Spring...

3248
来自专栏我是攻城师

浅谈Java项目打包方式

2708
来自专栏博客园迁移

分布式事务—两阶段提交协议

两阶段提交协议(Two-phase Commit,2PC)经常被用来实现分布式事务。一般分为协调器C和若干事务执行者Si两种角色,这里的事务执行者就是具体的数据...

512
来自专栏腾讯移动品质中心TMQ的专栏

腾讯TMQ在线沙龙|Android应用Dex分包之旅

Android应用Dex分包之旅 活动时间:2016年1月12日 QQ群视频交流 活动介绍:TMQ在线沙龙第十六期分享 本次分享的主题是Android应用Dex...

2119
来自专栏全栈数据化营销

6款超级提高效率的chrome插件

是一款网页标签插件,我们通常会因为工作需要,去浏览大量的网页,结果是,打开的网页越来越多,又不敢轻易关掉,害怕再也找不回来。 One Tab可以让你把网页瞬间集...

842
来自专栏北京马哥教育

只要十分钟,用Python实现自动化水军评论

作者:gavinfish 来源: http://blog.csdn.net/u013291394/article/details/50527463 玩csdn博...

35510
来自专栏菩提树下的杨过

基于webmagic的爬虫项目经验小结

大概在1个月前,利用webmagic做了一个爬虫项目,下面是该项目的一些个人心得,贴在这里备份: 一、为什么选择webmagic? 说实话,开源的爬虫框架已经很...

3248
来自专栏我是攻城师

SolrCloud之Sharding路由介绍

2644

扫码关注云+社区