impdp异常中断导致的问题(r2第8天)

今天查看数据库的负载,发现cpu消耗异常的高。里面有不少dw的进程.但是查看impdp的进程却不存在。 查看datapump的进程情况,发现大量的job,但是状态都是not running.

select * from dba_datapump_jobs where owner_name='MIG_TEST';
SYS_IMPORT_TABLE_01 
SYS_IMPORT_TABLE_02 
SYS_IMPORT_TABLE_03 
SYS_IMPORT_TABLE_04 
SYS_IMPORT_TABLE_05 
SYS_IMPORT_TABLE_06 
SYS_IMPORT_TABLE_07 
SYS_IMPORT_TABLE_08 
SYS_IMPORT_TABLE_09 
SYS_IMPORT_TABLE_10 
SYS_IMPORT_TABLE_12 
SYS_IMPORT_TABLE_13 
SYS_IMPORT_TABLE_14 
SYS_IMPORT_TABLE_15 
SYS_IMPORT_TABLE_16 
SYS_IMPORT_TABLE_17 
SYS_IMPORT_TABLE_18 
SYS_IMPORT_TABLE_20 
SYS_IMPORT_TABLE_21 
SYS_IMPORT_TABLE_23 
SYS_IMPORT_TABLE_24 
SYS_IMPORT_TABLE_25 
SYS_IMPORT_TABLE_26 
SYS_IMPORT_TABLE_28 
。。。。

查看数据库的session情况,发现有一个临时测试用户下有120多个session.这个环境平时没有人用,不会有那么多的session. 没有impdp的任务,查看那个临时用户,发现下面有很多SYS_IMPORT_TABLE_xx的表,ETxxx, ERRxxx的表。这些表都是datapump在数据导入的时候创建的临时表。

ERR的表类似下面的形式。
ERR$DP13FC20810001
ERR$DP16F10AF10001
ERR$DP1AA200C30001
ERR$DP1C125B790001
ERR$DP1C1B86AF0001

ET的表类似下面的形式。
ET$000D0F650001
ET$00C11B410001
ET$024502130001
ET$02FBAF530001
ET$02FE249B0001
ET$03B551550001
ET$03BE47230001
ET$05312FFF0001
ET$05380F350001
ET$05F70DAD0001

查看里面的内容也是被禁止的。

SQL> select *from ET$1B5C6DCF0001;
ERROR:
ORA-29913: error in executing ODCIEXTTABLEOPEN callout
KUP-11024: This external table can only be accessed from within a Data Pump
job.

既然没有对应的impdp的任务来跑,那些session也就是在空跑了。 和同事确认了下,这个测试中的数据任务执行时间太长,就被删除了进程。没想到杀掉impdp的进程,对应的parallel process还是存在, 把一张分区表分成了100份,每一份包含一些分区的数据,这样并行4个,下来就有120个左右的session了, 他们使用的脚本类似下面的形式。

nohup  impdp xxxx/xxxx directory=memo_dir dumpfile=par1_xxxxxxxx.dmp parallel=2 include=table_data logfile=par1_xxxxxxxx_impdp.log parfile=xxxxxxxx_partition_parallel_1.par_impdp TABLE_EXISTS_ACTION=append REMAP_SCHEMA=prdappo:MIG_TEST DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS   &
nohup  impdp xxxx/xxxx directory=memo_dir dumpfile=par2_xxxxxxxx.dmp parallel=2 include=table_data logfile=par2_xxxxxxxx_impdp.log parfile=xxxxxxxx_partition_parallel_2.par_impdp TABLE_EXISTS_ACTION=append REMAP_SCHEMA=prdappo:MIG_TEST DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS   &
nohup  impdp xxxx/xxxx directory=memo_dir dumpfile=par3_xxxxxxxx.dmp parallel=2 include=table_data logfile=par3_xxxxxxxx_impdp.log parfile=xxxxxxxx_partition_parallel_3.par_impdp TABLE_EXISTS_ACTION=append REMAP_SCHEMA=prdappo:MIG_TEST DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS   &
nohup  impdp xxxx/xxxx directory=memo_dir dumpfile=par4_xxxxxxxx.dmp parallel=2 include=table_data logfile=par4_xxxxxxxx_impdp.log parfile=xxxxxxxx_partition_parallel_4.par_impdp TABLE_EXISTS_ACTION=append REMAP_SCHEMA=prdappo:MIG_TEST DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS   &
nohup  impdp xxxx/xxxx directory=memo_dir dumpfile=par5_xxxxxxxx.dmp parallel=2 include=table_data logfile=par5_xxxxxxxx_impdp.log parfile=xxxxxxxx_partition_parallel_5.par_impdp TABLE_EXISTS_ACTION=append REMAP_SCHEMA=prdappo:MIG_TEST DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS   &

确认了下,准备删除session。可以使用如下的sql来查找对应的session,确认后删除。 select 'alter system kill session '||chr(39)||sid||','||serial#||chr(39) ||';' from v$session where username='MIG_TEST'; 尝试使用attach来手工停掉job.但是对应的process还是没有停掉。

> impdp mig_test/mig_test attach=SYS_IMPORT_TABLE_02 Import: Release 11.2.0.2.0 - Production on Wed Jun 18 19:08:05 2014 Copyright (c) 1982, 2009, Oracle and/or its affiliates. All rights reserved. Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.2.0 - 64bit Production With the Partitioning, OLAP, Data Mining and Real Application Testing options Job: SYS_IMPORT_TABLE_02 Owner: MIG_TEST Operation: IMPORT Creator Privs: FALSE GUID: FC1B7F5BBC97829EE040007F01004205 Start Time: Wednesday, 18 June, 2014 19:08:20 Mode: TABLE Instance: PETCUS1 Max Parallelism: 4 EXPORT Job Parameters: CLIENT_COMMAND xxxxx/******** directory=memo_dir dumpfile=par10_mo1_memo.dmp logfile=par10_mo1_memo_expdp.log parfile=mo1_memo_partition_parallel_10.par_imp exclude=statistics,constraint,ref_constraint,index,comment,grant IMPORT Job Parameters: Parameter Name Parameter Value: CLIENT_COMMAND mig_test/******** directory=memo_dir dumpfile=par10_mo1_memo.dmp parallel=4 logfile=par10_mo1_memo_impdp.log parfile=mo1_memo_partition_parallel_10.par_impdp TABLE_EXISTS_ACTION=append REMAP_SCHEMA=prdappo:MIG_TEST DATA_OPTIONS=SKIP_CONSTRAINT_ERRORS DATA_OPTIONS 1 TABLE_EXISTS_ACTION APPEND State: IDLING Bytes Processed: 0 Current Parallelism: 4 Job Error Count: 0 Dump File: /dbccbsPT1/oracle/PETCUS1/archive/memo_test/par10_mo1_memo.dmp Worker 1 Status: Process Name: DW1H State: UNDEFINED Object Schema: MIG_TEST Object Name: MO1_MEMO Object Type: TABLE_EXPORT/TABLE/TABLE_DATA Completed Objects: 1 Total Objects: 10 Completed Bytes: 305,547,744 Worker Parallelism: 1 Worker 2 Status: Process Name: DW1J State: UNDEFINED Worker 3 Status: Process Name: DW1I State: UNDEFINED Worker 4 Status: Process Name: DW1C State: UNDEFINED Import> stop Are you sure you wish to stop this job ([yes]/no): yes 尝试使用kiill选项,直接hang住了。 但是查看主机的cpu消耗,还是异常的高。对应的并行session对应的进程还是在,而且消耗了大量的资源。 最后尝试删除对应的et,err,export临时表。删除后,对应的dw process就消失了。 删除

drop table "ET$0ECF04B90001";  
drop table "ET$0F8D29250001";  
drop table "ET$104D1D5D0001";  
drop table "ET$133B1CDD0001";  
drop table "ET$13FC20810001";  
drop table "ET$16F10AF10001";  
drop table "ET$1AA200C30001";  
drop table "ET$1C125B790001";  
drop table SYS_IMPORT_TABLE_21   ;
drop table SYS_IMPORT_TABLE_23   ;
drop table SYS_IMPORT_TABLE_24   ;
drop table SYS_IMPORT_TABLE_25   ;
drop table SYS_IMPORT_TABLE_26   ;
drop table SYS_IMPORT_TABLE_28   ;
。。。。

总结这个问题,可能和datapump开了并行也有一定的关系。对应datapump的并行根据我的测试,并没有想象中那么好。

原文发布于微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文发表时间:2014-06-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杨建荣的学习笔记

海量数据迁移之外部表切分(r2笔记52天)

在前几篇中讨论过海量数据的并行加载,基本思路就是针对每一个物理表都会有一个对应的外部表,在做数据迁移的时候,如果表有上百G的时候,一个物理表对应一个外部表性能上...

2767
来自专栏乐沙弥的世界

ORA-02409:超时:分布式事务处理等待锁定ORA-02063

ORA-02409:超时:分布式事务处理等待锁定ORA-02063 一、错误现象与环境     前端应用程序运行时出现下面的错误提示: 事件添加失败:O...

732
来自专栏数据库新发现

Dataguard配置Step by Step

http://www.eygle.com/ha/dataguard-step-by-step.htm

462
来自专栏乐沙弥的世界

ORA-32004 的错误处理

启动数据库时,收到了ORA-32004 的错误,错误多是一些过时且在当前版本中不在使用的参数,如果碰到类似的错误,只需要将其

762
来自专栏数据库新发现

在Oracle9i中如何自行编译BBED工具

[oracle@jumper oracle]$ cd $ORACLE_HOME/rdbms/lib [oracle@jumper lib]$ make -f i...

712
来自专栏杨建荣的学习笔记

ORA-01113问题的简单分析(r6笔记第3天)

在启动数据库的时候,open阶段总是可能出现各种各样的问题, 比如让人胆战心惊的错误。 ORA-01113: file 1 needs media recov...

2355
来自专栏乐沙弥的世界

ORA-02019 错误处理

       ORA-02019 错误提示是未找到远程数据库的连接说明,通常发生在本地数据库无法连接到远程数据库。引发该问题的原因很多,比如网络连接,连接方式(...

791
来自专栏杨建荣的学习笔记

数据库11g升级中一次奇怪的问题 (30天)

客户的测试环境已经从10g升级到11g了。但是没过几天,数据hang住了,登都登不了了,而且通过sys,system,普通用户连接的错误都不一样 首先通过 一下...

2904
来自专栏杨建荣的学习笔记

关于奇怪的并行进程分析(二) (r6笔记第46天)

前几天的并行问题自己分析了下,也算有了一些进展,但是目前还没有找到让人信服的理由,有些读者也比较关心这个问题,所以第二篇中会把自己的分析过程写出来,第三篇中应该...

2513
来自专栏杨建荣的学习笔记

10g,11g数据泵的导入问题及解决(19天)

今天在环境上测试expdp/impdp,环境有10.2.0.5.0,11.2.0.2.0的,11g的环境是从10g升级到11gde .是在impdp的时候都报了...

2864

扫描关注云+社区