sqlldr性能调优测试(r3第5天)

接着续上次提到的sqlldr的性能问题,加载一个表数据400多万条记录,竟然用了6个多小时。最后大家争论不休的时候,我发现应该是网络的问题。 http://blog.itpub.net/23718752/viewspace-1182534/ 今天客户IT的同事把网络做了调整,他们就想看看到底改进有多大。 下面是测试的一些记录。

àoriginal logs for issue table, loading around 6 hours. 
Total logical records skipped:          0 
Total logical records read:       4096786 
Total logical records rejected:         0 
Total logical records discarded:        0 
Run began on Wed Jun 11 08:52:55 2014 
Run ended on Wed Jun 11 14:57:40 2014 
Elapsed time was:     06:04:44.05 
CPU time was:         00:00:38.18 
àafter network enhanced, loading time has reduced to around 4 mins. 
Total logical records skipped:          0 
Total logical records read:       4096786 
Total logical records rejected:         0 
Total logical records discarded:        0 
Run began on Mon Jun 16 12:58:01 2014 
Run ended on Mon Jun 16 13:02:15 2014 
Elapsed time was:     00:04:13.28 
CPU time was:         00:00:30.00 
àconsidering impact from index, I loaded data again, keep table structure,index exactly the same. 
Total logical records skipped:          0 
Total logical records read:       4096786 
Total logical records rejected:         0 
Total logical records discarded:        0 
Run began on Mon Jun 16 13:09:34 2014 
Run ended on Mon Jun 16 13:16:37 2014 
Elapsed time was:     00:07:02.61 
CPU time was:         00:00:31.23 
àtune sqlldr command with below options, keep table structure,index exactly the same. 
parallel=true bindsize=7500000 readsize=7500000 streamsize=7500000 rows=50000


Total logical records skipped:          0

Total logical records read:       4096786 
Total logical records rejected:         0 
Total logical records discarded:        0 
Run began on Mon Jun 16 13:21:13 2014 
Run ended on Mon Jun 16 13:24:19 2014 
Elapsed time was:     00:03:05.75 
CPU time was:         00:00:41.27

所以综上所述,在排查了cpu,io,缓存,网络的因素后,还可以使用一些选项来优化sqlldr,在某种程度上得到提升。

原文发布于微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文发表时间:2014-06-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

大数据技术Hadoop面试题,看看你能答对多少?答案在后面

a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker

822
来自专栏SAP最佳业务实践

SAP最佳业务实践:FI–现金管理(160)-17银企对账-客户收款-承兑汇票-帐户对帐单的重新处理

4.5.5 FEBA_BANK_STATEMENT帐户对帐单的重新处理 查看生成财务凭证 ? ? ? 自动生成了收款凭证并清帐 借:银行存款10020200 ...

2804
来自专栏技术翻译

Kubernetes揭秘:解决服务依赖问题

本系列文章探讨了企业客户在使用Kubernetes时遇到的一些常见问题。Container Service客户经常提出的一个问题是,“我如何处理服务之间的依赖关...

632
来自专栏Netkiller

谈网络适配器

谈网络适配器,就是网卡,在大型网站架构设计中,网络规划十分重要。 本文节选自《Netkiller Architect 手札》 21.5. 网卡 21.5.1. ...

3217
来自专栏Kubernetes

kube-proxy工作原理

kube-proxy & service必要说明 说到kube-proxy,就不得不提到k8s中service,下面对它们两做简单说明: kube-proxy其...

67712
来自专栏北京马哥教育

LVS集群详解

一、什么是集群 LVS(Linux Virtual Server)Linux虚拟服务器,将多台虚拟主机组织起来满足同一个需求。由国人章文嵩开发,通过LVS提...

39210
来自专栏大魏分享(微信公众号:david-share)

RHEV--基于开源的企业级虚拟化解决方案

本文主要介绍Red Hat基于开源的企业级虚拟化解决方案RHEV。RHEV虽然是开源虚拟化解决方案,但是其易用性,可维护性是很高的。文中笔者通过与vSphere...

39013
来自专栏蓝天

LVS初步

很多人知道LVS,但可能知之不多,希望阅读本文后,能够对LVS有一个基本的感性认识。

443
来自专栏有困难要上,没有困难创造困难也要上!

Apache-Ignite入门实战之一

35811
来自专栏FreeBuf

开源BTS产品中存在多处漏洞,攻击者或可劫持手机通讯基站

前言 在过去的几周时间里,我从多个方面对GSM的安全性进行了调查和研究,例如GSM通信协议中存在的漏洞。除此之外,我还对目前世界上应用最为广泛的BTS软件进行了...

1897

扫码关注云+社区