数据迁移部分问题总结(r2第3天)

按照计划在周二开始了数据迁移,本来之前也做了不少的准备工作。但是还是在迁移的过程中出现了一些问题。简单做一个总结。 1.constraint导致的数据reject 在数据加载的时候,报了如下的错误。有一些数据记录被reject了,查看后发现是源库和目标库中表的not null constraint导致的,在源库中没有not null constraint,但是在目标库中有。 这个问题只能和开发做确认,稍后处理。

records from TESTDATA_HIST
cannot insert NULL into ("XXXXX"."TESTDATA_HIST"."TOT_OBJ")

2.foreign key 导致的constraint enable 在数据加载之前,对于foreign key都做了diable的操作,在加载的过程中也没有出现任何问题。但是在enable foreign key的时候,报了02298的错误。

ERROR at line 1:
ORA-02298: cannot validate (XXXXX.CH_XXXX_1FK) - parent keys not found
alter table CH_XXXX enable constraint CH_XXXX_1FK 

这个问题,先做了constraint novalidate,交给开发去检查数据。

3.关于datapump加载一个较大的表,含有clob字段,数据5000万条

impdp xxxx/xxxx file=exp_test.dmp logfile=imp_test.log TABLE_EXISTS_ACTION=APPEND CONTENT=DATA_ONLY REMAP_SCHEMA=CNVDBO8:XXXX REMAP_TABLESPACE=LARGE_DATA:DATAS01

因为这部分是由另外一个dba来做的,他没有使用nohup方式,结果到半夜的时候,远程的网络重启了。收到了下面的信息,这确实有些崩溃。 Broadcast Message from uxadmin3 (pts/8) Wed Jun 11 01:08:29...

PLEASE LOG OFF NOW ! ! ! System maintenance about to begin. All processes will be terminated in 0 seconds. Broadcast Message from uxadmin3 (pts/8) Wed Jun 11 01:08:29... SYSTEM BEING BROUGHT DOWN NOW ! ! ! Connection to 10.196.28.42 closed by remote host. Connection to 10.196.28.42 closed.

然后等网络好了之后,重新开始。在跑了1个多小时后报了乳腺癌的错误,就退出了。

ORA-31693: Table data object "XXXX"."TEST":"PMAX_AMAX_EMAX" failed to load/unload and is being skipped due to error:
ORA-00001: unique constraint (XXXX.TEST_PK) violated
Job "XXXXX"."SYS_IMPORT_FULL_01" completed with 1 error(s) at 02:34:33

可见数据可能有问题,根据我们的理解在datapump运行的过程中,如果突然中断,是直接rollback的。 但是数据现在都导不进去。最后使用了如下的选项,又是一个漫长的过程,这个时候对datapump也算是有一些心理煎熬了。

DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS

这次启用了nohup方式,在远程网络中断,后台依然在进行。

Starting "XXXXX"."IMPDP_MEMO": XXXXX/******** directory=DR_DATAPUMP_1 dumpfile=exp_mo1_memo.dmp logfile=imp_mo1_memo.log TABLE_EXISTS_ACTION=APPEND CONTENT=DATA_ONLY REMAP_SCHEMA=CNVDBO8:PRDAPPO REMAP_TABLESPACE=LARGE_DATA:DATAS01 parallel=6 DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS JOB_NAME=impdp_memo
Processing object type TABLE_EXPORT/TABLE/TABLE_DATA
Write failed: Broken pipe

在煎熬了3个小时候,终于有了下面的一段话。对于reject的数据也根据主键信息罗列了出来。

imported "XXXXX"."MO1_MEMO":"PMAX_AMAX_EMAX" 11.89 GB 52646187 out of 53020364 rows

 Rejected row #1043:
   column APP_ID: 1000
   column ENTITY_KEY: 1
   column PERIOD_KEY: 2
   column MEMO_ID: 34141901
。。。。。。

4.sequence检查对于sequence的检查也是数据迁移的重中之重,在最后的检查中,尽管之前的sequence的值做了一个很大的buffer,胆识还是有一些sequence的问题。

TABLE_NAME

SEQ_NAME

SEQ_MAX

COLUMN_MAX

sequence_1

EXTRACT_FILE_SEQ

22144093

22044092

sequence_2

RC_RATES_1SQ

20462516

20362515

sequence_3

MNTR_TREAT_1SQ

22592118

22492117

原文发布于微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文发表时间:2014-06-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏乐沙弥的世界

Oracle 控制文件(CONTROLFILE)

为二进制文件,初始化大小由CREATE DATABASE指定,可以使用RMAN备份

992
来自专栏乐沙弥的世界

Heap size 80869K exceeds notification threshold (51200K)

      前阵子的alert日志获得了所需堆尺寸的大小超出指定阙值的提示,即Heap size 80869K exceeds notification thr...

853
来自专栏DT乱“码”

oracel设置自增ID

--语法: --1.设置SEQ create sequence SEQ_CSMSCLIENTLOGININFO minvalue 1        nom...

1988
来自专栏张善友的专栏

非域环境下使用证书设置数据库镜像

数据库镜像是将数据库事务处理从一个SQL Server数据库移动到不同SQL Server环境中的另一个SQL Server数据库中。镜像不能直接访问;它只用在...

1835
来自专栏数据库新发现

在Mac上通过Docker部署Oracle Database 12.2版本

Oracle 已经宣布支持了Docker部署,这也让我们在Mac上部署 Oracle 数据库有了多一个选择,这是我的第一个Docker应用,非常简便快速的就完...

1176
来自专栏java系列博客

rownum浅析

1714
来自专栏cloudskyme

使用oracle的大数据工具ODCH访问HDFS数据文件

软件下载 Oracle Big Data Connectors:ODCH 下载地址: http://www.oracle.com/technetwork/bdc...

3378
来自专栏杨建荣的学习笔记

通过shell脚本快速定位active session问题(r4笔记第65天)

如果你得到反馈,数据库突然间性能下降了好多,希望你能够尽快的定位出问题来,有一些思路和方法可以参考。分别从数据库层面,系统层面来定位,但是个人感觉而言还是不够快...

3315
来自专栏乐沙弥的世界

从ORA-27300,ORA-27301到ORA-00064

    最近由于session数量增加,需要调整session,也就是要调整process参数。看是比较简单的一个问题,却遭遇了ORA-27300,ORA-2...

641
来自专栏数据和云

触类旁通:那些关于 TBL$OR$IDX$PART$NUM 的诡异案例和知识

你是否留意过数据库中有一个奇怪的函数 TBL$OR$IDX$PART$NUM ,你是否留意过很多场景下都出现过它的身影?

1224

扫码关注云+社区