OracleClobToGreenplum 项目介绍

项目代码下载地址:https://github.com/xfg0218/greenplum--summarize/tree/master/201908/OracleClobToGreenplum

OracleClobToGreenplum 项目介绍

此Java项目主要介绍把Oracle数据库中的clob字段同步到Greenplum中,作者测试的效率大概为:5000条/13s,详细的过程请查看下文分析

OracleClobToGreenplum

lib 主要存放以下依赖的jar,包含oracle与postgres的jdbc驱动

src
	connectionUtils.properties : 配置文件信息,其中oraclesql取三个字段,最后一个字段的类型为clob
	                             gpsql是gp的一个临时表,包含三个字段,第三个字段为text类型保存oracle的clob类型
            			     batchsize : 按照自己的大小设置该值

	com.chinadaas.OracleToGreenplumMain : 程序启动的主类,在导出可运行JAR包是选择此类
	com.chinadaas.connection : 主要有链接Oracle与Greenplum的JDBC信息
	com.chinadaas.loaddata : 主要处理数据批量加载到Greenplum的逻辑
	com.chinadaas.utils : 此类下一个是读取配置文件的信息,一个主要是处理Oracle字段中的ascii值以及'的符号,'符号会影响SQL的拼接,导致插入数据错误

同步的效率统计

查看Oracle中的数据量以clob字段的最大长度:
	select count(*) from xiaoxu_test;
	-- 524,0487
	select max(length(anntext)) from xiaoxu_test;
	-- 498981

查看同步的效率及稳定性
	insert count:5000耗时  13s
	insert count:10000耗时  18s
	insert count:15000耗时  24s
	insert count:20000耗时  48s
	insert count:25000耗时  65s
	insert count:30000耗时  75s
	insert count:35000耗时  87s
	************
	insert count:5210000耗时  27335s
	insert count:5215000耗时  27365s
	insert count:5220000耗时  27394s
	insert count:5225000耗时  27421s
	insert count:5230000耗时  27451s
	insert count:5235000耗时  27479s
	insert count:5240000耗时  27504s
	insert count:5240489已全部入库完毕,耗时:27544s


在以上可以看出同步了5240489行数据大概用时27544s,大概 5240489/27544s ≈ 190行/s 具体的要按照个人的clob的长度而定

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云服务与SRE架构师社区

转: Oracle正在招Linux OS Architect,技术挑战和薪酬都相当的给力!

(信息来源:https://oracle.taleo.net, JOB ID: 16000P1S, 160017NU)

8830
来自专栏数据库新发现

从Oracle到PostgreSQL:一文掌握Checkpoint重要概念

原文:https://www.enmotech.com/web/detail/1/784/1.html

10620
来自专栏云服务与SRE架构师社区

王录华:关键客户访问应用时如何做到Average Page Load Time超过3分钟就触发警报(第5篇)

(1)如何你的云计算数据中心有超过两万个各式各样的企业应用,您如何找出用户体验最差的应用及页面链接?这个最差体验是由于服务器响应延迟时间导致的,还是网络延迟时间...

8520
来自专栏数据和云

从Oracle到PostgreSQL:一文掌握Checkpoint重要概念

墨墨导读:Checkpoint是数据库中重要的概念,无论在Oracle,MySQL这个概念,它主要功能是在检查点时刻,脏数据全部刷新到磁盘,以实现数据的一致性和...

8720
来自专栏Java技术分享圈

Oracle 11G数据库安装步骤及截图操作

进入到上图后,我们可以如实填写以上数据,也可以不填写,为了缩端安装时间,我这就没有进行填写如上数据,并且将复选框中的√给勾掉了

14430
来自专栏数据和云

Oracle数据库应用系统结构

在安装、部署Oracle数据库软件时,需要根据不同应用结构(即硬件平台、操作系统平台)采用不同的方法(基本安装、高级安装),下面介绍几种常见的应用结构。

12830
来自专栏云服务与SRE架构师社区

谈云计算数据中心DevSecOps运维模式中的安全性(第4篇)

DevOps T-shirt worn at a computer conference (图片来源于Wikipedia, 由Raysonho上传)

10520
来自专栏云服务与SRE架构师社区

【原创干货】我是如何为公有云和XX联邦政府提供安全的Linux操作系统的解决方案的?

我大约是在2012年左右时,在网络和私有云两大领域之外,又在操作系统领域得到一个非常有挑战的新机遇:为公司超过30万台的服务器提供安全的Linux操作系统解决方...

8520
来自专栏数据和云

20万DBA都在关注的12个问题

近期我们在DBASK小程序新关联了韩锋频道、互联网侦察、数据库SQL、SQL数据库开发、跨界架构师、石杉的架构笔记等数据领域的公众号,聚合更新展示,欢迎大家阅读...

6810
来自专栏大数据学习笔记

windows建立Oracle数据库的ODBC数据源

参考 https://blog.csdn.net/BlueCY/article/details/76164941

38530

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励