通过图表分析oracle的parallel性能(r2第37天)

并行特性在数据库里对于性能的提升很有帮助,尤其是大批量的数据处理。今天对于并行的性能情况进行了简单的图表分析。 为了能够比较合理的比较数据,对数据库里的2张大表进行了比对分析。 测试的场景有以下两个。 1.并行生成dump文件,比如一个大表有100G,使用并行,并行度为50 ,那么很可能会生成50个dump文件,每个dump文件基本控制在2G左右。 2.使用并行做数据的append insert. 比如已经生成了50个dump文件,每个dump文件2G,那么做并行插入的时候(dump数据还是一个一个插入,但是每次插入数据启用并行度为 8) --》并行生成dump文件。 首先来看看总体的速度,采用并行后速度还是很可观的。生成12G左右的dump文件,花费的时间在14秒~21秒 按照这个速度,每秒的速度在571M~857M的范围内,是相当快的。 使用两个表MEMO和CHARGE, CHARGE... Elapsed: 00:00:14.37 MO1_MEMO... Elapsed: 00:00:21.88 表memo 采用并行,并行度最高64,生成了64个dump文件。Y坐标是dump文件的字节数。可以看到表memo dump文件基本都在200M~250M左右。启用并行生成的数据也是比较平均的。

--表charge 在来看charge表。数据也是比较平均的。都在150M左右

--数据量并行分析 对于生成的dump文件,大小基本是平均的,但是对于里面包含的数据量情况还是有一些变化的,通过这个分析可以基本得到表里的数据情况,发现潜在的碎片等问题 表MEMO 对于memo,可以发现会有几个dump文件的数据量有明显的降低,数据量大多保持在80-90玩左右。有几个dump文件只包含10万条数据左右,但是dump文件还是在200M左右。可能含有碎片等,需要做进一步的排查。

对于CHARGE表。数据分布基本在30万到60万左右摆动。数据的分布有一定的浮动。

--》数据的的append Insert 做数据的插入时,可以看到memo表的大体的趋势是时间会有一定的延长。个别dump因为数据量减少,时间可能会短一些,但是趋势还是随着dump的数据逐渐并行插入,时间会有一定的提升。可能会有1.5-2倍的时间差。

为了验证这一点,来看看charge表的情况,起初速度还保持在30秒,但是稍候会有主键的提升。基本到了60-70秒的样子,

所以综上所述,并行在日常工作中还是有很大的优势的,可以极大的缩短一些工作时间,在数据的抽取中使用parallel,速度是很客观的。 在数据的插入过程中,可能随着dump文件的个数增长,数据的插入性能会有一定的降低,但是都在可控范围内。

原文发布于微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文发表时间:2014-07-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏HBStream流媒体与音视频技术

MP4文件格式的解析,以及MP4文件的分割算法

1.4K130
来自专栏AI研习社

谷歌发布 TensorFlow 1.5,全面支持动态图机制和 TensorFlow Lite

AI 研习社消息,日前,谷歌发布 TensorFlow 1.5,TensorFlow 又一次迎来更新。 在此前的版本中,TensorFlow 迎来三大重大变化:...

30840
来自专栏kangvcar

[face_recognition中文文档] 第1节 人脸识别

79030
来自专栏量子位

MIT研究人员发明漏洞修复系统,可自动给代码打补丁 | 附论文

安妮 编译自 MIT News 量子位 出品 | 公众号 QbitAI 点开许久不用的“XX旅行”,你想买张回家的车票。页面上弹出的升级提示写着: 本次升级将修...

33270
来自专栏磐创AI技术团队的专栏

YOLO_Online: 将深度学习最火的目标检测做成在线服务(附项目代码)

16440
来自专栏应用案例

RIOT 与 ImageOptim - 两款 Win 和 Mac 上好用的免费图片优化无损压缩工具

不管你是网站站长、自媒体、博客作者、摄影师、设计师,还是需要在网上分享传输图片/照片的人,都希望自己上传图片耗时更短、图片体积更小,别人浏览时又能更快下载显示出...

45050
来自专栏机器之心

我的深度学习开发环境详解:TensorFlow + Docker + PyCharm等,你的呢(附问卷)

选自Upflow.co 作者:Killian 机器之心编译 参与:Nurhachu Null、李亚洲 在这篇文章中,研究员 Killian 介绍了自己的深度学习...

69860
来自专栏葡萄城控件技术团队

应用系统中常见报表类型解析

根据报表的布局、数据源结构、打印方式和数据分析方式,可将应用系统中的报表分为以下类型: 清单报表 图表报表 分栏报表 分组报表 交叉报表 并排报表 ...

23650
来自专栏AI科技评论

开发 | 机器学习零基础?手把手教你用TensorFlow搭建图像分类器

AI科技评论按:Pete Warden是TensorFlow移动团队的技术负责人。曾在Jetpac担任首次技术官。Jetpac的深度学习技术经过优化,可在移动和...

38760
来自专栏知晓程序

晓快讯 | 微信公众号可以改错错错错错字了!

2 月 8 日凌晨,微信公众平台发布公告,称「为了给运营者、读者提供更友好的编辑、阅读体验,公众平台新增修改文章错别字功能」,支持运营者对已群发文章进行小范围修...

14530

扫码关注云+社区

领取腾讯云代金券