前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >海量数据迁移之使用分区并行切分导入(r2笔记79天)

海量数据迁移之使用分区并行切分导入(r2笔记79天)

作者头像
jeanron100
发布2018-03-14 17:10:48
1.2K0
发布2018-03-14 17:10:48
举报

在之前的章节中讨论过怎么把一个很大的分区表切分为若干的dump文件,在数据加载的时候能够同时做基于每个分区的数据导入,如果有些分区比较大,有几十个dump文件,那么这个分区做数据导入的时候是不能再进行并行切分了。 现在在准生产环境中先查找了如下的表,charge,memo,charge_rel数量级都过亿,而且memo表中还含有lob字段。其他两个分区尽管字段没有特殊之处,但是分区数很多。都在几百个左右。

charge 133036878 memo 186700029

charge_rel 131419041

代码语言:javascript
复制

我把数据导入分成了10个并行的process,每个process里面处理对应的分区表数据。
比方说charge表
CHARGE  206..206 "partition(P30_C30)"
CHARGE 197..199 "partition(P29_C40)"
CHARGE  188..188 "partition(P28_C50)"
CHARGE 179..179 "partition(P27_C60)"
CHARGE  170..170 "partition(P26_C70)"
CHARGE 161..161  "partition(P25_C80)"

我定位了206号dump是归属分区P30_C30的,197~199号dump是归属分区P29_C40的
先来看看数据导入前的表空间。
                                Total MB    Free MB     Used MB  
                          ------------  ---------- -----------
sum                          1,490,261    585,573      904,688


数据导入15分钟后。超大的memo表竟然都快完成了!
############################################################
                     CHARGE_REL  152 of TOTAL   222 completed, |--processing... from       split_par_9_appendata.log 
                             MEMO  401 of TOTAL   446 completed, |--processing...  from      split_par_9_appendata.log 
                          CHARGE  175 of TOTAL   322 completed, |--processing... from       split_par_9_appendata.log                      
另外两个大表也在继续。稍候,大部分的进程开始处理另外2个大表。
又过了10分钟
############################################################
                      CHARGE_REL  160 of TOTAL   222 completed, |--processing... from       split_par_9_appendata.log 
                             MEMO  405 of TOTAL    446 completed, |--processing... from       split_par_9_appendata.log 
                           CHARGE  224  of TOTAL   322 completed, |--processing... from       split_par_9_appendata.log

表空间的信息如下:
                               Total  MB    Free MB     Used MB  
                          ------------ ----------  -----------
sum                          1,490,261    380,798    1,109,463

短时间内消耗了200G,速度提升不少。
本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2014-08-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 杨建荣的学习笔记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档