首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

存储崩溃MySQL数据库恢复案例

RAID5磁盘阵列,由于未知的原因导致存储忽然崩溃无法启动,RAID5阵列中的虚拟机全部丢失,其中3台虚拟机为重要数据,需要主要针对该3台虚拟机进行数据恢复。...经客户描述故障过程为:第一块硬盘掉线后系统启动热备盘进行替换,第二块硬盘掉线时RAID5处于降级状态,第三块硬盘掉线导致RAID阵列崩溃。下面看看北亚工程师是如何进行操作的吧!...四、通过分析数据库页提取数据 本次数据恢复的虚拟机内有mysql数据库,可以利用数据库底层存储的特殊性进行数据页扫描,提取数据。...分别使用两组不同表结构对数据记录进行提取并导入恢复环境中的mysql数据库内,然后剔除各个表中因为表结构变更造成的乱码数据,最后将两组数据分别导出为.sql文件。...七、数据验证 因为两个版本的数据库表结构不同,所以联系了客户方的应用工程师进行调试。调试完成后导入平台,平台调试成功,本次数据恢复成功。

4.6K20

MySQL 崩溃恢复过程分析

本文我们一起来看看,MySQL崩溃恢复过程中都干了哪些事情,Redo 日志又是怎么大显身手的。...本文介绍的崩溃恢复过程,包含 server 层和 InnoDB,不涉及其它存储引擎,内容基于 MySQL 8.0.29 源码。 目录 1. 概述 2. 读取两次写页面 3....读取两次写页面 MySQL 一旦崩溃,Redo 日志就要去拯救世界了(MySQL 就是它的世界),Redo 日志拯救世界的方式就是把还没来得及刷盘的脏页恢复崩溃之前那一刻的状态。...崩溃恢复过程中,这种状态的事务是需要直接回滚的。 你可能会有个疑问,DDL 事务不是不能回滚吗? DDL 事务不能回滚,这只是针对 MySQL 用户而言,MySQL 内部并不会受到这个限制。...总结 MySQL 崩溃恢复过程的核心工作有 2 点: 对于 MySQL 崩溃之前还没有刷新到磁盘的数据页(也就是脏页),用 Redo 日志把这些数据页恢复MySQL 崩溃之前那一刻的状态,这相当于对脏页进行一次刷盘操作

89310
您找到你想要的搜索结果了吗?
是的
没有找到

MySQL崩溃恢复功臣—Redo Log

Redo log文件是InnoDB用于崩溃恢复(crash recovery)以及组提交(group commit)策略的重要文件,存在于磁盘上。...下面大致讲解下Redo log是怎么做到崩溃恢复以及组提交的。 崩溃恢复 崩溃恢复能力是指InnoDB可以保证数据库在异常崩溃重启后的状态和使用binlog文件恢复出来的数据库状态保持一致。...此时如果使用binlog文件进行恢复数据库(比如备库),则会导致数据库不一致的情况。...下面我们从上图4个可能发生异常关闭的时间点来分析InnoDB如何在MySQL启动时做崩溃恢复。...组提交 上面关于崩溃恢复部分只是讲了写redo log和binlog的步骤,那么一定很疑惑数据是何时被写入到磁盘文件中的呢,这里就要说下InnoDB通过redo log实现的组提交的策略了。

10.9K101

基于Redo Log和Undo Log的MySQL崩溃恢复流程

MySQL 奔溃恢复 这个过程看似没啥问题,实则不讲武德。假设我们修改Buffer Pool中的数据成功,但是还没来得及将数据刷入磁盘MySQL就挂了怎么办?...那不完犊子吗,连数据持久化的保证、事务回滚都做不到还谈什么崩溃恢复? Redo Log & Undo Log 而通过MySQL能够实现崩溃恢复的事实来看,MySQL必定实现了某些骚操作。...MySQL 崩溃恢复 首先,更新数据还是会判断数据是否存在于Buffer Pool中,不存在则加载。...Redo Log恢复到Buffer Pool中的某行的A字段是3,但是任何监听其Binlog的数据库读取出来的数据确是2。...MySQL 崩溃恢复 简单介绍一下2PC,它是一种保证分布式事务数据一致性的协议,它中文名叫两阶段提交,它将分布式事务的提交拆分成了2个阶段,分别是Prepare和Commit/Rollback。

77710

EMC存储崩溃恢复案例

本次分享的案例为EMC FC AX-4存储崩溃,整个存储空间由12块1TB STAT的硬盘组成的,其中10块硬盘组成一个RAID5的阵列,其余两块做成热备盘使用。...【备份数据】 考虑到数据的安全性以及可还原性,在做数据恢复之前需要对所有源数据做备份,以防万一其他原因导致数据无法再次恢复。...【数据恢复过程】 1、分析故障原因 由于前两个步骤并没有检测到磁盘有物理故障或者是坏道,由此推断可能是由于某些磁盘读写不稳定导致故障发生。...然后根据这些信息使用北亚RAID恢复程序,解释LUN的数据MAP并导出LUN的所有数据。...由用户方工程师进行验证,验证结果都没有问题,数据均完整,本次数据恢复成功。

1.8K30

13.6 mysql数据库备份恢复

mysql数据库备份恢复目录概要 备份库 mysqldump -uroot -p123456 mysql > /tmp/mysql.sql 恢复mysql -uroot -p123456 mysql...< /tmp/mysql.sql 恢复是,必须保证目录一致 备份表 mysqldump -uroot -p123456 mysql user > /tmp/user.sql 恢复mysql -uroot...-d mysql > /tmp/mysql.sql mysql数据库备份恢复 备份库 在执行mysqldump -uroot -p123456 mysql的时候会看到很多信息,屏幕上显示的这些就是备份的数据...[root@hf-01 ~]# 我们可以通过mysqlbak.sql来恢复数据库,还可以恢复到另外一个数据库里面去 创建一个新的库mysql2 [root@hf-01 ~]# mysql -uroot...[root@hf-01 ~]# 进入到数据库里面,在后面加一个mysql2 就会进入到mysql2数据库里面 mysql -uroot -p'hanfeng' mysql2 [root@hf-01 ~

4.5K90

mysql 数据库备份和恢复

全量恢复 vs 增量恢复 全量恢复恢复备份中所有的数据,是数据库恢复到备份时数据库状态。如果全量恢复的状态不够实时,可以接着使用增量恢复恢复全量备份到这一刻所有的数据变化,是数据库状态保持最新。...恢复崩溃恢复 MyISAM 表时,首先使用 REPAIR TABLE 或者 myisamchk -r 尝试恢复,这通常能解决99.9% 以上的问题。...这样在恢复时,就可以针对特定的数据库进行恢复,不至于造成所有的恢复恢复到默认数据库里。如果需要备份文件包含drop数据库语句,则使用 --add-drop-database 选项。...: shell> mysql < dump.sql sql命令行,使用source: mysql> source dump.sql 备份不包含数据库创建语句,确保指定恢复数据库存在: shell> mysqladmin...使用myisamchk 进行崩溃恢复 如果 mysqld 数据库服务实例运行没有开启external locking (默认禁用,用于多线程下MyISAM数据表锁定,及一个线程要使用某个表,必须等待其它线程释放对这些表的锁

3.6K20

MySQL数据库备份与恢复

为此数据库管理员必须针对具体的业务要求制定详细的数据库备份与灾难恢复的策略,并通过模拟故障对每种可能的情况进行严格的测试,从而保证数据的可靠性。...通过 文1:CentOS 7 编译安装MySQL数据库系统已经掌握MySQL数据库的安装方式; 文2:MySQL数据库基本语句已经掌握了数据库的基本操作。...接下来我们了解一下如何对MySQL数据库的备份与恢复。...接下来我们来了解MySQL数据库备份的方法。 物理冷备份与恢复 物理冷备份一般使用tar命令直接打包数据库文件夹即可,但是进行备份之前必须关闭MySQL数据库。...2)模拟故障并恢复数据库 [root@localhost ~]# mysql -u root -e 'drop table mysql.user;' [root@localhost ~]# mysql

3.3K30

myloader恢复mysql数据库示例

mydumper是针对mysql数据库备份的一个轻量级第三方的开源工具,备份方式为逻辑备份。它支持多线程,备份速度远高于原生态的mysqldump以及众多优异特性。...有关mydumper的相关参考 mydumper备份mysql数据库示例 mydumper安装及安装故障汇总 1、单库的备份与恢复 [root@app ~]# mydumper -u leshami...#创建测试表 >      insert into sakila.tb select * from sakila.actor" ###将备份库恢复到一个新数据库,如restoredb [root@app...[root@app ~]# myloader  -u leshami -p xxx   -o -B sakila -d /tmp/bak 2、单表恢复 [root@app ~]# mysql -urobin...(mysql|test))' -o /tmp/bak ###尝试删除部分数据库 [root@app ~]# mysql -urobin -pxxx   \ >  -e "drop database tempdb

4.5K20

MySQL数据库备份和恢复

数据库备份 数据库复制不能取代备份的作用 备份分类: 全量备份:整个数据库的完整备份 增量备份:在上一次备份基础上,对更改数据进行备份。...bash: mysql-u-p dbname<backup.sql mysql client: mysql>source/tmp/backup.sql 指定时间点的恢复 先决条件 具有指定时间点前的一个全备...具备自上次全备后到指定时间点的所有“二进制日志”(相当于重复操作从备份时间点的到现在的数据库操作) 步骤: 还原某个时间点的全备 mysql-uroot-p mc_orderdb<mc_order_backup.sql.../data 恢复后的数据直接替换原本的 记得改变属于的用户chmod 制定备份计划 每天凌晨对数据库进行一次全备 实时对二进制日志进行远程备份 使用linux定时任务:crontab 参考 高性能可扩展...MySQL数据库设计及架构优化 电商项目,sqlercn,https://coding.imooc.com/class/79.html

6.5K20

MYSQL数据库恢复案例分享

本次分享的案例是关于存储的数据恢复,存储上RAID崩溃导致存储无法启动。存储内部共有6台以上虚拟机,其中LINUX虚拟机3台为客户重要数据。...在与客户沟通后得知虚拟机内有MYSQL数据库,因为数据库底层存储的特殊性,可以通过扫描数据页进行数据提取。...4、获取MYSQL数据页并分析 根据MYSQL数据页特征进行数据页扫描并导出(innodb引擎可以使用此方案,myisam因为没有“数据页”概念所以不可用),分析系统表获取各用户表信息,根据各个表的ID...提取记录:分别使用两组不同表结构对数据记录进行提取并导入恢复环境中的MYSQL数据库内,然后剔除各个表中因为表结构变更造成的乱码数据,最后将两组数据分别导出为.sql文件。...6、数据恢复结果 因为两个版本的数据库表结构不同,所以联系了客户方的应用工程师进行调试。调试完成后导入平台,经验证,数据可用本次数据恢复成功。

3.2K20

Docker 中的 PostgreSQL 崩溃恢复记录

Docker 中的 PostgreSQL 崩溃恢复记录 在 Docker 中运行的 PostgreSQL 数据库突然无法启动, 错误日志类似这样: PANIC,XX000,"could not locate...,,,,,,,,"" LOG,00000,"aborting startup due to startup process failure",,,,,,,,,"" 这种情况多数情况下是在执行事务时, 数据库被强行关闭导致的...修复的方法是: 如果使用的 PostgreSQL 是 10.x 或更高的的版本, 使用 pg_resetwal DATADIR 来解决; 否则使用 pg_resetxlog DATADIR 来解决; 由于数据库是在...Docker 中运行的, 因此需要按照 Docker 的方式来修复: 使用 pg_resetxlog 或者 pgresetwal 有可能会丢失数据, 启动之后, 需要仔细检查数据库的健康情况。...如果有数据库备份的话, 请尽快进行数还原。

1.6K20

简单聊聊Innodb崩溃恢复那些事

简单聊聊Innodb崩溃恢复那些事 本文想用简单精炼的语言将Innodb崩溃恢复那些事情好好拾到拾到,本文主要参考以下三本书和我个人一些感想而作: Innodb技术内幕第二版 Mysql运维内参 从根上理解...Mysql 关于一些辅助资料有: CMU 15-445 数据库基础课程 Mit 6.830 数据库基础课程 Aries论文 数据库系统概念-原书第6版 还有一些额外参考的博客,链接已在文章末尾贴出。...---- 崩溃恢复 崩溃恢复整个过程由redo和undo两个阶段完成,本节我们先来看看redo阶段是如何将数据库恢复到其崩溃前的模样的。...崩溃恢复在经过了redo阶段后,就将数据库恢复到了崩溃恢复前的模样,下一步我们就需要进入undo阶段,将崩溃恢复前未提交的事务进行回滚了。...- 额外参考 MySQL · 引擎特性 · WAL那些事儿 MySQL · 源码分析 · 庖丁解 InnoDB 之 Buffer Pool 数据库故障恢复机制的前世今生 B+树数据库加锁历史 MySQL

39130

MySql数据库的备份与恢复

前言 对与数据库的备份与恢复该怎么去做呢?...Linux下对于文件或目录的备份,直接拷贝一份,留着备用,对于备份,比较简单的做法会就是直接打包拷贝一下,但是,如果需要恢复数据时,你可能会发现更多的问题,如受到版本的影响 不同版本的数据库对于命令,...MySql不提供拷贝或直接对文件夹重命名,而且我们也不推荐这么去做;我们比较推荐的是使用mysql的备份工具。...-u root -p -B 数据库名1 数据库名2 ... > 数据库存放路径 如果备份一个数据库时,没有带上-B参数, 在恢复数据库时,需要先创建空数据库,然后使用数据库,再使用source来还原...查看连接情况 如果数据库很卡,可以查一下当前有什么人在使用数据库,也就是查看连接情况: show processlist 可以告诉我们当前有哪些用户连接到我们的MySQL,如果查出某个用户不是你正常登陆的

27630

存储崩溃的数据恢复通用方法

在服务器正常运行过程中有一块硬盘离线激活了热备盘进行数据同步,在数据同步的过程中服务器内另一块硬盘因为未知故障离线,导致服务器上层应用崩溃,服务器内的数据丢失。...提取服务器内数据库文件并修复数据库 服务器数据恢复工程师自主编写了文件系统解析程序对虚拟阵列内的文件系统进行解析,导出数据库文件后移交数据库数据恢复工程师进行校验和修复。...数据库工程师对数据库文件进行验证发现部分数据库文件及日志文件异常。...表空间内存在大量坏块、所有控制文件被破坏,undotbs02丢失,数据库数据恢复工程师只好对数据库文件进行修复,修复过程见下图: 服务器硬盘离线数据恢复成功案例1.png 北亚数据恢复中心服务器硬盘离线数据恢复成功案例...【服务器数据恢复结果验证】 经过数据库数据恢复工程师对数据的修复和验证,最终成功恢复服务器内的数据库,服务器数据恢复工程师将修复成功的数据库数据导入数据恢复服务器进行验证,所有数据正常,联系客户进行现场数据验证均无异常

85711
领券