海量数据迁移之数据加载流程(r4笔记第88天)

在之前的博文中分享了关于数据抽取流程的一些思路,整体来说,数据的抽取是辅助,数据的加载是关键。加载的过程中每一步需要格外关注,稍有偏差就可能造成数据的损坏或者丢失。 为了更加清晰的说明通过外部表来实现数据加载的流程,特意画了如下的流程图。

在这个图中,数据的抽取是左边的部分,可以根据需要生成对应的外部表dump文件。 这个时候可以在目标环境中也创建只读用户,外部表用户,只读用户中只存放同义词,外部表用户中存放的是需要加载的外部表,整个外部表的加载过程不会消耗额外的物理空间,而且加载啊速度极快。 这么做有几个好处,最大的一个好处就是可以通过这种方式提前进行数据校验。把一些潜在的数据冲突问题提前发现,提前修复,如果在大半夜的数据加载中发现了问题,再去修复似乎就晚了很多,而且带着疲惫去尝试修复数据真实苦不堪言。 右边的图是数据加载的一个流程图。 我特意把外部表的dump文件用类似u盘的图标代替就是想说明外部表的加载是即插即用,用完直接卸载即可。 而数据在加载之前需要做的一个重要步骤就是数据比较,就是右边图中蓝色的标示部分。 通过比较只读用户(即目标数据)和外部表用户中的外部表数据(源数据),可以灵活的匹配主键列,非唯一性约束列可以很有效的进行数据的冗余比较。 有了这种方式,在多次的数据迁移中,都可以在数据加载前提前进行数据检查。着实让人放心不少,对于提升自信心是很有帮助的。一旦发现了数据问题,就可以及时发现,提前发现,让专门的团队及时修复数据。 至于最关键的数据加载,就是外部表用户和目标数据用户之间的数据关联了。可以通过insert append的方式进行数据的导入。可以根据数据情况进行切分粒度的控制。比如我们有一个表test特别大,有500G,我们就可以把这个大表在收据抽取的时候进行细粒度的切分,比如我们通过启用并行生成了500个dump文件,这样每个dump文件就基本上是1G的标准,每1G的数据加载我们及时提交,会给Undo带来缓解不少的压力。而且这样数据的加载流程可以灵活控制,而不用用漫长的等待来做最终加载是否成功的赌注。

原文发布于微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文发表时间:2015-03-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杨建荣的学习笔记

运维中的接入管理梳理

数据库层的接入可以提炼出DAO层,通过工厂模式来提供灵活的配置接入,这会是一个通用的接口,同时其他数据库的接入也可以通过这种方式带来接入,提炼的结果就是...

932
来自专栏程序你好

消息通知子系统用户需求

2084
来自专栏Java后端技术栈

大型网站应用之海量数据和高并发解决方案总结一二

开发一个网站的应用程序,当用户规模比较小的时候,使用简单的:一台应用服务器+一台数据库服务器+一台文件服务器,这样的话完全可以解决一部分问题,也可以通过堆硬件的...

1163
来自专栏DevOps时代的专栏

维护了这么久的服务器,你真的认识 Web 缓存体系?

前言 很高兴认识大家,之前做过很多分享,今天这次终于讲到正题了。因为之前一直讲自动化运维,其实做这么多年运维,自动化运维没干多少年。这几年很多公司各方面机器数量...

3298
来自专栏架构师小秘圈

亿级浏览型网站静态化架构演变

作者徐昭,花名长恭,主要负责天猫详情系统的架构优化工作。毕业于浙江大学计算机专业,热爱Java Web技术,多关注服务端性能优化,热衷开源技术的研究和分享。 在...

3695
来自专栏张善友的专栏

深入浅出事件流处理NEsper(一)

    对实时信息分析和处理,常常需要客户应用程序的开发相应功能。一般地,这些功能需要提供以下的处理流程,分析获取的数据,筛选数据,提取出有用的信息,然后将其通...

2289
来自专栏码神联盟

架构 | 大型网站分布式高并发架构设计汇总

本文多数内容为小编精心总结,呕心沥血完成,切勿抄袭沿用。 参考文献《架构知识》、《深入理解java》 ---- 章节目录: 前言 前端架构 应用层架构 服务层架...

6918
来自专栏微信小开发

如何用好小程序的心机功能?小程序问答#4

Q 当小程序授权使用后,如何取消它的授权? 点开“发现”进入小程序列表,找到你想取消授权的小程序。点击右上角的“···”按钮,点击“关于···”。在新打开的小程...

3477
来自专栏码神联盟

架构 | 大型网站分布式高并发架构设计汇总

本文多数内容为小编精心总结,呕心沥血完成,切勿抄袭沿用。 参考文献《架构知识》、《深入理解java》 ---- 章节目录: 前言 前端架构 应用层架构 服务层架...

53810
来自专栏程序你好

微服务通信中的设计模式

我在上一篇文章中,我谈到了微服务中涉及到的设计模式。现在,我想深更深入介绍微服务架构中最重要的设计模式:微服务之间的数据通讯。当我们用于开发独立应用程序时通讯是...

2182

扫码关注云+社区

领取腾讯云代金券