专栏首页杨建荣的学习笔记海量数据迁移之数据抽取流程 (r4笔记第72天)

海量数据迁移之数据抽取流程 (r4笔记第72天)

在之前的一些博文中花了大篇幅介绍了采用外部表抽取的一些细节,可能细节到了,基本原理的内容还希望再补充补充。 采用外部表抽取数据的流程图如下:

大体标注了一下抽取的基本结构,我们会尽量保证不去碰原本的数据源,会创建两个临时的用户,一个是只读用户,这个用户上只有同义词,只具有数据源中的select权限。这就对应上面红色标注的1,而另外一个用户是外部表用户,所有通过创建外部表都会在这个用户下进行,生成了dump文件之后,我们可以随时删除外部表,这个时候为了保证相关的drop操作不会牵扯到数据源,外部表用户会继承只读用户中的select权限。这就对应红色标注的2. 当开始抽取数据的时候,会去查找是否有权限读取数据,会找到只读用户,最终能够读取数据源的数据,这就对应红色标注的3,4 当满足了基本的条件,就开始生成外部表的dump,可以为一个表生成多个dump,而且这个过程是并行的,这就对应红色标注的5 对于步骤5,是抽取的关键,基本的原理可以参考下面的伪代码,黄色标注的重点部分。

CREATE TABLE MO1_MEMO_EXT
   ORGANIZATION EXTERNAL
  (
    TYPE ORACLE_DATAPUMP
    DEFAULT DIRECTORY xxxxx
    LOCATION (
 ‘xxxx1.dmp’,‘xxxx2.dmp’)
   )
  parallel xx   as
   SELECT  /*+ parallel(t xx) */
 *
   FROM 只读用户.MO1_MEMO;

我们使用了外部表的oracle_datapump引擎,可以在指定的目录下生成多个dump文件,我们可以指定并行度,指定多个dump的名称等等。这些都需要通过编程来控制和管理这些复杂的部分。

本文分享自微信公众号 - 杨建荣的学习笔记(jianrong-notes),作者:r4笔记第72天

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2015-03-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 关于导入dump(r3笔记第98天)

    在工作中,dump文件对于dba而言是再平常不过的文件了。 不过在导入dump文件的时候还是有很多的细节可以注意,可以避免一些不必要的问题。 exp/imp是比...

    jeanron100
  • 一个简单的sql审核案例 (r8笔记第90天)

    今天开发的同学发来一封邮件,希望我帮忙对一个sql语句做一个评估。他们也着急要用,但是为了稳妥起见,还是希望我来审核一下,这是一个好的习惯。 打开邮件,看到的语...

    jeanron100
  • 数据迁移流程的优化

    昨天做了一个数据迁移流程的优化,直到发生了一些严重的问题,才明显重视起来这个问题。

    jeanron100
  • 告别对象检测图像数据手动标注的坑,用Anno-Mage半自动图像标注工具

    大家做对象检测模型训练与迁移学习时候,常常需要自己标注数据,特别是针对一些自定义的对象做标注的时候,标注数据是一项枯燥而且乏味的工作,虽然大家都知道标注数据工作...

    OpenCV学堂
  • 数据库PostrageSQL-从源代码安装

    本章的内容描述从源代码发布安装PostgreSQL(如果你安装的是打包好的版本如RPM或Debian包,那么请略过这一章并且阅读打包者的指导)。

    cwl_java
  • win10快速重装系统教程

    打开此链接下载微软的制作工具:https://go.microsoft.com/fwlink/?LinkId=691209

    不想赖床
  • PHP接入微信H5支付的方法示例

    调起微信支付,只说明必要参数 请求微信统一下单接口,接口地址:https://api.mch.weixin.qq.com/pay/unifiedorder

    砸漏
  • toolbar setTitle 无效的解决方法

    夏洛克的猫
  • 重磅 | 微软首席人工智能科学家邓力离职,加盟对冲基金巨头Citadel

    机器之心独家 作者:李亚洲 微软人工智能首席科学家、IEEE Fellow 邓力向机器之心透露,他已从微软离职,加入对冲基金公司 Citadel 担任首席人工智...

    机器之心
  • 中兴视觉大数据报道:人工智能未来不可测无需预测只需创造出来

    中兴智能视觉大数据报道:如今,我们已经习惯被各种新技术刷屏,刷手机、刷指纹、刷脸……相信小伙伴们对电影中这样的场景印象深刻:目标人物走在火车站拥挤的人群中,在一...

    用户2155938

扫码关注云+社区

领取腾讯云代金券