首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

批处理实现最简化数据自动备份

最近一直在考虑oracle数据自动备份到本地的问题,也找机会当面向大牛请教过,得到了一堆关于DG、GG、RAC、DBLINK、ARCHLOG等方面的建议,还有个哥们直接建议我用redis实现。...磨蹭了大半个月,终于决定还是选择自己最熟悉的批处理来实现异步备份到本地 思路如上图示: 数据库改造,将大表按天建立表分区 服务端定时exp前三天(天数自定)的表分区 将表分区压缩后放到ftp目录下(压缩比...相比其他同步方式可以节省90%的网络资源) 本地定时(自测服务端任务延时30分钟即可,需根据实际情况定)通过ftp方式下载指定压缩包到本地,解压后使用imp导入表分区 技术点: 表名及分区名为三天前日期,批处理不直接支持对...date进行加减天数的操作,使用sqlplus运行固定脚本spool到文本1,然后typefind 输出唯一行到文本2,利用for/f 读取文本2获取日期参数到变量,exp时文件名直接调用日期变量即可; 批处理中...for/f 读取多列文本时,只能定义首列变量名(单字符)如%i,默认第二列赋值到变量%j,依次递增; exp导出时因为11G的延迟段特性,当同一大表某一表分区中无数据时会出现exp00003错误,无法对分区表直接使用

86570
您找到你想要的搜索结果了吗?
是的
没有找到

mysql备份后缀是什么_mysql备份还原

一、备份常用操作基本命令 1、备份命令mysqldump格式 格式:mysqldump -h主机名 -P端口 -u用户名 -p密码 –database 数据库名 > 文件名.sql 2、备份MySQL...数据库为带删除表的格式 备份MySQL数据库为带删除表的格式,能够让该备份覆盖已有数据库而不需要手动删除原有数据库。...> backupfile.sql 5、同时备份多个MySQL数据库 mysqldump -h hostname -u username -p password –databases databasename1...增量备份的原理就是使用了mysql的binlog志。...—注意事项 **window下 ,请不要使用PowerShell进行导出,否则可能会造成文件格式有问题,无法导入,请使用CMD命令行执行命令 发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn

5.3K30

mysql备份命令_mysql命令行备份方法

一、mysql备份 1、备份命令 格式:mysqldump -h主机IP -P端口 -u用户名 -p密码 –database 数据库名 > 文件名.sql # 本地备份可以不添加端口和主机IP,username.../mysql.sql 2、备份压缩 格式:mysqldump -h主机IP -P端口 -u用户名 -p密码 –database 数据库名 | gzip > 文件名.sql.gz # 导出的数据有可能比较大.../backup/mysql.sql.gz 3、备份同个库多个表 格式:mysqldump -h主机IP -P端口 -u用户名 -p密码 –database 数据库名 表1 表2 …. > 文件名.sql...*.*.* -p 3306 -u username -p password –databases mysql1 mysql2 mysql3 > /data/backup/mysql_db.sql 5、备份实例上所有的数据库...> /data/backup/mysql_db.sql 7、备份数据库结构,不备份数据 格式:mysqldump -h主机IP -P端口 -u用户名 -p密码 –no-data 数据库名1 数据库名2

10.3K20

MySQL · 物理备份 · XtraBackup备份原理

前言 Percona XtraBackup[1](简称PXB)是 Percona 公司开发的一个用于 MySQL 数据库「物理热备」的备份工具,支持 MySQl(Oracle)、Percona Server...我们 RDS MySQL 的物理备份就是基于这个工具做的。...一般情况下,我们是希望能备份 MyISAM 表的,虽然我们可能自己不用 MyISAM 表,但是 mysql 库下的系统表是 MyISAM 的,因此备份基本都通过 innobackupex 命令进行;另外一个原因是我们可能需要...参考资料 [1] Percona XtraBackup: https://www.percona.com/software/mysql-database/percona-xtrabackup [2] Launchpad-xtrabackup...https://www.percona.com/blog/2015/05/20/percona-xtrabackup-2-3-1-beta1-is-now-available/ 参考原文: http://mysql.taobao.org

5K10

MySQL备份还原

1.备份单个数据库在命令行窗口输入:mysqldump -u 用户名 -p 数据库名 [表名 表名] >filename.sql回车后,输入密码。说明:1.如果不指定表名,则备份整个数据库。...3.备份所有数据库在命令行窗口输入:mysqldump -u 用户名 -p --all-databases >filename.sql说明:.使用--all-database参数备份数据库时,备份文件包含...举例:备份ems数据库mysqldump -u root -p ems>ems_20231108.sql输入密码后,会在当前目录生成一个ems_20231108.sql的备份文件。...4.使用mysql命令还原数据库在命令行窗口输入:mysql -u 用户名 -p 数据库名 <filename.sql举例:还原数据库ems到ems_backup1.创建数据库ems_backupcreate...:mysql -u root -p,回车输入密码登录客户端选择数据库:use ems_backup2;3.输入:source D:\ftp\mysql3\ems_20231108.sql;

33340

Mysql 备份恢复与xtrabackup备份

使用热备份时,系统仍可供读取和修改数据的操作访问。 冷备份:   这些备份在用户不能访问数据时进行,因此无法读取或修改数据。...这些脱机备份会阻止执行任何使用数据的活动。这些类型的备份不会干扰正常运行的系统的性能。但是,对于某些应用程序,会无法接受必须在一段较长的时间里锁定或完全阻止用户访问数据。...但是,其不足之处在于无法在进行备份时修改数据集,这可能使这种类型的备份不适用于某些应用程序。在备份过程中无法修改数据可能产生性能问题。...MySQL自带的逻辑备份和物理备份工具,这节主要讲逻辑备份MySQL官方提供了Mysqldump逻辑备份工具,虽然已经足够好,但存在单线程备份慢的问题。...3、导致公司业务异常停止,无法正常提供服务。 1.5.2 怎么解决的   1、当前系统进行评估。

15.4K30

Linux自动备份mysql数据库|mysql备份

文章时间:2019年1月31日 08:49:46 作者:余伟同学 说明:利用crotab定时器,实现定时自动备份mysql数据库 更新人 更新时间 更新内容 余伟同学 2019年10月10日...12:30:57 增加复杂版本sh,7天自动删除 安装crotab 安装教程地址:https://wiki.nooss.cn/archives/84.html 编写备份mysql的shell脚本 #简单版本...###################数据库配置信息####################### user=root passwd=root dbname=databases mysql_back_path...#########数据库配置信息####################### /usr/bin/mysqldump -h127.0.0.1 -u$user -p$passwd $dbname > $mysql_back_path.../$time.sql.gz echo '数据库备份完成' find /home/dbback/ -mtime +3 -name "*.sql.gz*" -exec rm -rf {} \; #删除3天以上的备份

22.4K21

MySQL备份工具——MySQL企业版备份

在上一篇MySQL备份中我们提到MySQL备份工具包括用于逻辑备份的SQL语句、将SQL语句与操作系统的命令结合的物理备份工具(例如,“LOCK TABLE”)、MySQL企业版备份(物理备份)、“mysqldump...本文将详细介绍MySQL企业版备份工具。...MySQL企业版备份工具是一款支持多平台的热备份工具,通过命令行调用“mysqlbackup”执行操作,针对InnoDB表进行优化,并支持MySQL的其他存储引擎。...备份非InnoDB时,需要MySQL中包含至少一个innoDB表,默认情况下,MySQL企业版将备份MySQL服务器数据路径下的全部文件,如果用户指定了“--only-known-file-types”...,在恢复过程中,“mysqlbackup”无法MySQL服务器查询相关的配置信息,只能通过标准的配置文件获得相关的选项,如果用户希望恢复到不同的服务器上,需要通过“--defaults-file”选项指定一个配置文件进行

15510

MySql 数据备份

相关命令的执行都在windows服务器下,且工作目录就是mysql server的bin目录下. 1、mysqldump 全备份 mysqldump -h127.0.0.1 -u用户名 -p"密码"...mysql服务器ip地址 -u后面跟的是登录的用户名 -p后面跟的是登录密码注意要用双引号括起来 接着后面写需要备份的数据库名称,如果需要备份某个表,则在后面再写表名称即可 --single-transaction...  备份时指定不锁定表 --master-data 备份时,会向备份文件写入此次操作备份到哪个binlog文件的哪个position,因为在备份期间数据库还在运行,这部分数据只能通过binlog来恢复....>C:\Users\Administrator\Desktop\mysqldump\dh_log.sql  指定sql的生成路径. 2、恢复备份文件 mysql -uroot -p"root" 数据库名称...MASTER TO MASTER_LOG_FILE='binlog.000064', MASTER_LOG_POS=155; 4、常见错误 ERROR 2006 (HY000) at line XX: MySQL

3.7K30

MySQL数据备份

MySQL备份概述 问题:备份和冗余有什么区别? 备份:能够防止由于机械故障以及人为操作带来的数据丢失,例如将数据库文件保存在了其它地方。...备份过程中必须考虑因素: 1、必须制定详细的备份计划(备份频率、时间点、周期)(根据当前的业务情况,需要考虑备份的时间和备份数据的大小。数据量太大的话就使用冗灾)。...备份类型 逻辑备份 逻辑备份就是在不停业务的情况下进行备份备份的是建表、建库、插入等操作所执行SQL语句(DDL DML DCL),适用于中小型数据库,效率相对较低。...,但不能恢复到不同的MySQL版本。...在线备份 增量备份 部分备份 在某个特定时间的一致性状态的备份 第三方备份工具 XtraBackup和innobackupex Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份

3.9K10

MySQL备份恢复

mysqldump命令 逻辑备份工具。文本形式保存备份,可读性较强。 备份逻辑: 将建库、建表、数据插入语句导出,包存至一个sql文件中。 比较适合于:数据量较小的场景,单表数据行千万级别以内。...可以本地、可以远程备份。 注意: 一般情况下,恢复需要耗费的时间是备份耗费时间的3-5倍。...8.0 之后 master-data和single-transaction,对于InnoDB数据备份时是快照备份的. 备份表结构等数据时,还是FTWRL过程备份....物理备份工具使用-Percona Xtrabackup(PXB) 物理备份工具,支持全备和增量备份备份逻辑: 数据库运行期间,拷贝数据表空间....(2)增量备份无法单独恢复。必须基于全备进行恢复。 (3)所有增量必须要按顺序合并到全备中。

13K21

MySQL备份

备份期间采用多版本并行控制(MVCC),会使用行锁。 冷备份:不允许应用程序访问数据。 备份时数据无法被用户访问,通常情况下,服务器需要进入拒绝访问模式或关机。...用户在备份期间无法读取和修改任何数据。 温备份:允许应用程序进行只读操作,不允许更改数据。 备份时允许用户读取数据,无需完全封闭用户,但缺点是备份期间无法修改数据、可能会导致性能问题。...基于快照(物理备份) 基于复制(物理或逻辑备份) 增量备份:通过创建和刷新MySQL二进制日志实现 逻辑备份 MySQL的逻辑备份可以通过SQL语句、“mysqldump”,或“mysqlpump...这些技术提供在线或者接近在线的备份能力,可以在硬件发生故障时快速恢复数据,其缺点是因为它具有实时复制的能力,无法利用该技术处理人为或应用程序导致的数据丢失。...基于MySQL复制的备份 MySQL支持单向的异步复制,在复制的拓扑中一台服务器作为主服务器,其余的服务器作为从服务器。

9410
领券