本地有一个小的环境，今天照例登上sqlplus，突然发现报了如下的错误。一看原来归档满了。我记得前几天做一个批量操作临时把temp文件resize了很大，限于本...
本文将带来直播回顾第五篇《银行核心海量数据无损迁移：TDSQL数据库多源异构迁移方案》。...事实上，作为国产自研的成熟的分布式数据库产品，TDSQL对内稳定支撑腾讯海量计费业务，对外开放5年来也通过云服务为微众银行等超过600家金融政企机构提供高性能、高可用、高可靠、强一致的分布式数据库服务。...image.png 结合我们刚刚说的需求，基于数据同步的跨城双活架构，也是腾讯内部现在在使用的架构。...基于数据同步的跨城双活架构是这样的形式： 首先左边和右边代表不同的城市，这里举例左边是深圳，右边是上海。...举个例子，我们按[5,6,7,8,9]这样的顺序向消息队列生产一部分消息（写），届时收到的消息回调序号也应该是[5,6,7,8,9]；当接收完9号这条消息回调的时候，下一条如果收到的回调序号是12、或者
对于大型项目中海量数据使用sqlloader是一种全新的方式，不过很明显,sqlloader的可扩展性更强，但是基于oracle平台的数据迁移来说，外部表的性能也不错。...对于数据迁移来说也是一个很好的方案。...使用外部表来做数据迁移，可以“动态”加载数据，能够很方便的从数据库中加载数据，对于数据校验来说就显得很有优势了，而对于sqlloader来说，可能得等到数据加载的时候才知道是不是有问题，如果对于数据的准确性要求极高...，可以使用外部表动态加载数据到备库，和现有的数据做比对，减少在升级过程中带来的灾难。...还有关于数据类型，对于clob,blob的加载，大家都比较头疼，在sqlloader中可能需要做一些额外的工作，来外部表中就和操作普通的表没有什么区别。 先来说说数据抽取的部分。
在优化的过程中，就涉及到了迁移的问题。 一般来说，业界针对升级和迁移，会提供热迁移和冷迁移两种方案： 冷迁移：冷迁移需要对数据库先进行停机，等迁移完成后，再重启数据库。...热迁移：热迁移无需对数据库进行停机，整个迁移过程中，数据库可以持续对外提供服务。用户对于热迁移无感知。...云开发作为基础服务提供商，是无法进行冷迁移的，因此，对于云开发来说，思考如何在现有的架构基础之上做好热迁移势在必行。 想要对云开发的数据库进行热迁移，首先，需要理解云开发数据库的底层架构。...热迁移的基础是数据库底层的迁移能力，而数据库底层的迁移分为三个状态： 数据同步：对快照和数据库的 oplog 进行拷贝和追踪； 数据割接：在 oplog 几乎追上时，进行数据割接； 目标集群可用：完成割接后...生产环境下目前迁移用户请求如图所示： ? 以上便是基于小程序云开发自身的数据库架构设计的数据库底层热迁移实现方案概述。 如果你对上文有任何疑问，欢迎在下方评论区留言。
对于数据迁移来说，无论准备工作准备的多么充分，在测试和正式生产环境中，心里还是会对冲突的数据有一些疑虑，心里感觉没底，因为生产的数据也是在不断变化的，要迁移的数据也在做相应的改动，在这样的环境中，其实数据抽取的工作还是顾虑比较少的...可能会有一些紧急的数据更改任务，数据的稽核等等。。 对于主键相关的数据排查，如果在数据迁移前能够发现，是最好的了，这样可以极大的减少dba的工作量。...个人就是在这种窘境中这样设想了一个方法，首先通过查询主键信息，得到主键索引相关的列，然后通过Intersect来查询那些主键字段的数据在生产和迁移库上有冲突，这个过程可以创建一个临时的用户来加载外部表，...所以省去了创建额外的数据空间，而且可以考虑在备库上执行。...基本思路就是通过如下的sql语句来找到冗余的数据。
是什么样的数据库撑起了 2021 年的双 11 双 12 的稳定进行？...《数据 Cool 谈》第三期，阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏，一同揭秘了双 11 双 12 背后的数据库技术...在双 11 双 12，这种方式的弊端会被进一步放大。数据显示，在双 11 秒杀系统中，秒杀峰值交易数据每秒超过 50 万笔，是一个非常典型的电商秒杀场景。...在 2021 年双 11 双 12 中，有一种无所不在的技术力保证了整体系统的稳定，如 PolarDB 具备的极致弹性、海量存储和高并发 HTAP 访问的产品特性。...在 2021 年的双 11 双 12 中，ADB 3.0 真正实现了无论是否在峰值场景，都能让历史订单实时检索。 具体而言，ADB 3.0 解决了三方面的问题： 全量数据迁移与实时同步。
在之前的博文中分享了关于数据抽取流程的一些思路，整体来说，数据的抽取是辅助，数据的加载是关键。加载的过程中每一步需要格外关注，稍有偏差就可能造成数据的损坏或者丢失。...把一些潜在的数据冲突问题提前发现，提前修复，如果在大半夜的数据加载中发现了问题，再去修复似乎就晚了很多，而且带着疲惫去尝试修复数据真实苦不堪言。 右边的图是数据加载的一个流程图。...通过比较只读用户（即目标数据）和外部表用户中的外部表数据(源数据)，可以灵活的匹配主键列，非唯一性约束列可以很有效的进行数据的冗余比较。...有了这种方式，在多次的数据迁移中，都可以在数据加载前提前进行数据检查。着实让人放心不少，对于提升自信心是很有帮助的。一旦发现了数据问题，就可以及时发现，提前发现，让专门的团队及时修复数据。...至于最关键的数据加载，就是外部表用户和目标数据用户之间的数据关联了。可以通过insert append的方式进行数据的导入。可以根据数据情况进行切分粒度的控制。
采用外部表抽取数据的流程图如下： 大体标注了一下抽取的基本结构，我们会尽量保证不去碰原本的数据源，会创建两个临时的用户，一个是只读用户，这个用户上只有同义词，只具有数据源中的select权限。...这就对应上面红色标注的1，而另外一个用户是外部表用户，所有通过创建外部表都会在这个用户下进行，生成了dump文件之后，我们可以随时删除外部表，这个时候为了保证相关的drop操作不会牵扯到数据源，外部表用户会继承只读用户中的...当开始抽取数据的时候，会去查找是否有权限读取数据，会找到只读用户，最终能够读取数据源的数据，这就对应红色标注的3,4 当满足了基本的条件，就开始生成外部表的dump，可以为一个表生成多个dump，而且这个过程是并行的
OGG用于PG数据库之间双主实时同步（RDS for PG亦可）–OGG远程捕获和投递：https://www.xmmup.com/oggyongyupgshujukuzhijianshuangzhushishitongburds-for-pgyikeoggyuanchengbuhuohetoudi.html...使用OGG for PG微服务快速双向同步RDS数据库（双主）：https://www.xmmup.com/shiyongogg-for-pgweifuwukuaisushuangxiangtongburdsshujukushuangzhu.html...Oracle微服务双向同步Oracle数据库搭建双主架构（含DDL）：https://www.xmmup.com/shiyongogg-for-oracleweifuwushuangxiangtongbuoracleshujukuhanddl.html...进程 数据目录：/ogg213c/ogg_deploy/var/lib/data/dirdat EXTRACT ext12c USERIDALIAS ora12c DOMAIN OGGMA DDL INCLUDE...测试DDL和DML同步 在Oracle 12c端建表和插入数据： create table t1 (id number primary key,name varchar2()); insert into
在海量的数据迁移中，如果某个表特别大，可以考虑对表中的分区进行切分，比如某个表有100g,还有100个分区，那么可以考虑针对这100个分区，那么可以考虑把这100个分区看成100个表进行并行抽取，如果某个分区数据比较多...目前生成了如下的数据报告，我们需要基于这个报告来对如下的表/分区进行切分。 REEMENT这个表不是分区表，所以在分区信息的地方填写了默认值'x',在数据加载的时候会进行过滤。...在数据加载的时候就可以先加载21号dump，然后22号dump,23号dump MEMO partition(P0_A1000_E3) 3 21..23 MEMO partition(P0_A1000
在之前的章节中分享过一些数据迁移中并行抽取的细节，比如一个表T 很大，有500G的数据，如果开启并行抽取，默认数据库中并行的最大值为64，那么生成的dump文件最50多为64个，每个dump文件就是7.8G...，还是不小，况且在做数据抽取的时候，资源被极大的消耗，如果资源消耗紧张，可能可用的并行资源还不到64个。...分区表的数据基本都是分散在各个分区的，考虑数据的不均匀分布，那么每个分区的数据可能在5~10G吧。...参照这个思想，假设开启并行，比如200M为一个基准点来切分分区表，比如分区表的某个分区含有5G的数据，那么需要开启25个并行即可，文件就会被切分为200M的很多细粒度的dump文件。...目前我设定的基准为1G，比如一个分区表T，大小在1.5G,那么可以考虑开启分区+并行，如果分区表的大小为500M，那么就可以不用考虑使用分区+并行了，因为在每个分区中的数据可能相对比较少。
在前几篇中讨论过海量数据的并行加载，基本思路就是针对每一个物理表都会有一个对应的外部表，在做数据迁移的时候，如果表有上百G的时候，一个物理表对应一个外部表性能上会没有任何提升。...如果需要做数据插入的时候，对undo是极大的挑战，从某种程度上而言，性能应该要比datapump要差。这个时候可以考虑一个物理表对应多个外部表，比如一个表有100G。...可以考虑生成100个external dump 文件，然后加载生成100个外部表，每个dump文件对应一个外部表，这样做数据的插入的时候就相对容易控制了。...每一个外部表的数据加载到目标库之后，commit一次，就能及时的释放Undo资源，提高性能。
使用OGG for PG微服务快速双向同步RDS数据库（双主）：https://www.xmmup.com/shiyongogg-for-pgweifuwukuaisushuangxiangtongburdsshujukushuangzhu.html...Oracle微服务双向同步Oracle数据库搭建双主架构（含DDL）：https://www.xmmup.com/shiyongogg-for-oracleweifuwushuangxiangtongbuoracleshujukuhanddl.html...使用数据泵基于flashback_scn+OGG微服务零停机迁移12c到19c：https://www.xmmup.com/shiyongshujubengjiyuflashback_scnoggweifuwulingtingjiqianyi12cdao19c.html...到ora19c的实时同步 创建extract进程 数据目录：/ogg213c/ogg_deploy/var/lib/data/dirdat EXTRACT ext12c USERIDALIAS ora12c...启用replicate进程 在启用之前，可以查询表数据，发现和源端数据量相差很大，因为源端一直在做压测产生新数据。 LHR@ora12c> select count(*) from "LHR"."
说明: 迁移数据有很多工具的, 后续可能会分享其它的. Kettle最早是一个开源的ETL工具, 2006年被Pentaho收购了,....本次实验环境 操作系统: oel7.8 源端数据库: oracle 12.2 目标端数据库 : mariadb 5.5 迁移工具: kettle版本: pdi-ce-7.1.0.0-12 这个工具是图形化的...使用kettle迁移数据 4.1 创建转换 文件 --> 新建 --> 转换 2021-02-18_220515.png 4.2 创建 DB连接 我得连上数据库才能迁数据吧.......(如果你没得驱动的话, 还得先拷贝驱动如:ojdbc8.jar 到 pdi-ce-7.1.0.0-12\data-integration\lib 目录下) 编辑 pdi-ce-7.1.0.0-12\...: 2021-02-18_231736.png 总结 一个简单的迁移例子就完成了.
“ 在大数据时代面对海量的本地文件时，随着云存储的普及，越来越多的用户需要把海量数据从传统的本地存储迁移到新的分布式云基础设施上，这就需要快速高效安全的迁移方法。”...原文发布于微信公众号：腾讯云存储（关注有惊喜） 操作场景 对于拥有本地 IDC 的用户，对象存储 COS 在不同迁移类型上支持以下迁移方式，帮助用户将本地 IDC 的海量数据快速迁移至对象存储 COS。...下图展示的是使用线上迁移时预估的时间消耗，可以看出，若此次迁移周期超过10天或者迁移数据量超过50TB，我们建议您选择线下迁移，否则，请选择线上迁移。...用户可以考虑使用多台机器安装 COS Migration 并分别执行不同源数据的迁移任务。 二、云数据迁移CDM 线下迁移 迁移操作步骤： 1.前往云数据迁移 CDM 控制台提交申请。...3.收到设备后，按照迁移设备手册把数据拷贝至设备。 4.完成数据拷贝后，在控制台提交回寄申请并等待腾讯云把数据迁往对象存储 COS。 详情请参见云数据迁移 CDM产品文档。
在数据迁移的时候，需要根据用户量来评估需要在表空间理添加的空间大小。...比如迁移5百万的用户和迁移200万，两者需要添加的数据量差别很大，在资源有限的情况下，需要一些比较合理的估算，毕竟在生产环境中做数据加载的时候报了空间不足的问题就是准备太不充分了，稍后的数据修复任务就难上加难...比如我们现在客户提供了如下的信息，需要我们评估一下在目前的用户基础上迁移几百万用户需要添加的空间。 表空间假设是如下的存储情况。DATA开头的表空间存放表数据，INDX开头的表空间存放索引数据。...用户说现在库里还有600G左右的空间，让我们评估一下再迁移几百万的用户的情况需要多少空间。 比如数据库里用到的表有1000张，可能做数据迁移的时候关联的表只有100张。...如下的脚本计算存放表数据的表空间的数据量 我们假设我们有一个文件，里面是数据迁移中用到的表清单,取名为tablst,然后通过如下的脚本来做计算。
在之前的章节中讨论过怎么把一个很大的分区表切分为若干的dump文件，在数据加载的时候能够同时做基于每个分区的数据导入，如果有些分区比较大，有几十个dump文件，那么这个分区做数据导入的时候是不能再进行并行切分了...charge 133036878 memo 186700029 charge_rel 131419041 我把数据导入分成了10个并行的process，每个process里面处理对应的分区表数据...C70)" CHARGE 161..161 "partition(P25_C80)" 我定位了206号dump是归属分区P30_C30的，197~199号dump是归属分区P29_C40的 先来看看数据导入前的表空间...---------- ---------- ----------- sum 1,490,261 585,573 904,688 数据导入
在之前的章节中，讨论过了通过 分区+并行等方式来进行超大的表的切分，通过这种方式能够极大的提高数据的平均分布，但是不是最完美的。 比如在数据量再提高几个层次，我们假设这个表目前有1T的大小。...有10个分区，最大的分区有400G,那么如果我们想尽可能的平均的导出数据，使用并行就不一定能够那么奏效了。...比方说我们要求每个dump文件控制在200M总有，那样的话400G的分区就需要800个并行才能完成，在实际的数据库维护中，我们知道默认的并行数只有64个，提高几倍，也不可能超过800 所以在数据量极大的情况下...如果想数据足够平均，就需要在rowid上做点功夫。 我们先设定一个参数文件，如下的格式。 可以看到表memo数据量极大，按照200M一个单位，最大的分区（P9_A3000_E5）需要800个并行。...AAB4VPAA4AACP5/EJA' 10, where rowid between 'AAB4VPAA4AACQCAAAA' and 'AAB4VPAA5AACHx/EJA' 然后我们来看看数据是否足够平均
在自己接触的很多的数据迁移工作中，使用外部表在一定程度上达到了系统的预期，对于增量，批量的数据迁移效果还是不错的，但是也不能停步不前，在很多限定的场景中，有很多物理迁移中使用传统方法还是相当不错的，传输表空间就是一个样例...最近的有一个数据迁移任务是需要把一些全新的数据表迁移到另外一个库中，因为这些表在目标库中不存在，所以使用逻辑迁移就显得有些力不从心了。尽管在速度可以接受的情况下，最大的痛处就是大量的归档文件了。...--额外的步骤，做一下简单的备份和数据清理。因为在同一个实例中实验，所以需要备份一下，然后把数据删除。...这个时候数据文件就回来了。 !...--迁移后的补充 迁移后需要把表空间设置为read,write模式alter tablespace test_new read write; --数据检查 select tablespace_name,
在生产环境的数据迁移中，发生误操作真是很不愿意看到，今天自己总结了一下，从个人的经验来看有以下的几种操作或者是失误导致的问题。有一些错误自己已经犯过。...创建临时账户 在数据迁移的时候，如果表的数据都在某一个schema下，个人建议最好创建一个临时的schema，给这个临时的schema赋予指定的权限，比如数据抽取的临时schema只赋予select权限...数据备份 数据的备份，这个从系统级，数据库级，表级都可以做一些工作。...迁移方式 这里想说说大家常用的迁移方式，可能数据量小的时候，使用imp/impdp就可以，数据量稍大一些，impdp或者sqlldr就可以，如果数据量更大，就可以考虑sqlldr或者外部表了。...在数据导入之前，你不可能从imp/impdp的dump文件中查看到表的数据，如果发生数据冲突，也是在数据导入的时候才可能发现,sqlldr可能还可以查看一部分数据，但是不够直观，数据都是行列形式的文件，
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
