MySQL可以恢复到半月内任意一秒的状态!如何做到的?
得从一个表的一条更新语句说起。
SQL语句基本的执行流程同样适用于更新语句。
与查询流程不同的是更新涉及两个日志模块
赊账或者还账的话,一般有两种做法:
在生意忙时,掌柜一定选后者,因为前者太麻烦:
还是先在粉板上记一下方便。如果掌柜没有粉板,每次记账都翻账本,效率是不是低死啦? MySQL也有这个问题,若每次更新操作都写进磁盘,然后磁盘也要找到对应记录,然后再更新,整个过程IO成本、搜索成本都很高。 何解?采用类似酒掌柜粉板的思路。
粉板和账本的配合过程,就是MySQL里的WAL(Write-Ahead Logging)关键就是
当一条记录需要更新,InnoDB先把记录写到redo log(粉板)里面,并更新内存,更新就算完成了 InnoDB在适当时,将操作记录更新到磁盘,而这个更新往往是在系统比较空闲的时候做,这就像打烊以后掌柜做的事。
如果今天赊账不多,掌柜可以打烊后整理。如果某天赊账多,粉板写满,怎么办? 放下手中活儿,把粉板一部分赊账记录更新到账本,然后把这些记录从粉板上擦掉,为记新账腾出空间。 类似的InnoDB的redo log固定大小,比如可配置为一组4个文件,每个文件的大小是1GB,那么这块“粉板”总共就可以记录4GB的操作。
write pos是当前记录位置,一边写一边后移,写到第3号文件末尾后回到0号文件开头 checkpoint是当前要擦除位置,往后推移并且循环,擦除记录前要把记录更新到数据文件
write pos和checkpoint之间是“粉板”上还空着的部分,用来记录新操作。如果write pos追上checkpoint,“粉板”满,不能再执行新的更新,得停下来先擦掉一些记录,checkpoint推进。 redo log可以保证即使数据库发生异常重启,之前提交的记录都不会丢失,这个能力称为crash-safe。 只要赊账记录记在了粉板上或写在了账本上,之后即使掌柜忘记了,比如突然停业,恢复生意后依然可以通过账本和粉板上的数据明确赊账账目。
MySQL Server层,它主要做的是MySQL功能层面的事情 引擎层,负责存储相关的具体事宜 粉板redo log是InnoDB引擎特有的日志,而Server层也有自己的日志,称为binlog(归档日志)。
为什么需要两份日志? 最开始MySQL并无InnoDB,自带的是MyISAM,没有crash-safe的能力,binlog只能用于归档。 InnoDB是另一个公司以插件形式引入MySQL,只依靠binlog没有crash-safe,所以InnoDB使用另外一套日志系统redo log实现crash-safe能力。
看执行器和InnoDB引擎在执行这个简单的update语句时的内部流程。
浅色框表示是在InnoDB内部执行 深色框表示是在执行器执行
最后三步看上去有点“绕”,将redo log的写入拆成了两个步骤:prepare和commit,这就是"两阶段提交"。
为什么必须有“两阶段提交”? 为了让两份日志之间的逻辑一致。 思考怎样让数据库恢复到半个月内任意一秒的状态?
binlog会记录所有的逻辑操作,并且采用“追加写”。如果DBA承诺说半个月内可以恢复,那么备份系统中一定会保存最近半个月的所有binlog,同时系统会定期做整库备份。 “定期”取决于系统的重要性,可以是一天一备,也可以是一周一备。
当需要恢复到指定秒时,比如某天下午两点发现中午十二点有次误删表,需要找回数据: 首先,找到最近的一次全量备份,如果运气好,可能就是昨天晚上备份,从这个备份恢复到临时库 然后从备份时间点开始,将备份的binlog依次取出来,重放到中午误删表之前的那个时刻
这样你的临时库就跟误删之前的线上库一样了,然后你可以把表数据从临时库取出来,按需要恢复到线上库去。
由于redo log和binlog是两个独立的逻辑,如果不用两阶段提交,要么就是先写完redo log再写binlog,或者反序。
假设当前ID=2的行,字段c的值是0,再假设执行update语句过程中,在写完第一个日志后,第二个日志还没有写完期间发生crash?
假设在redo log写完,binlog还没写完,MySQL异常重启。redo log写完后,系统即使崩溃,仍能把数据恢复,所以恢复后这一行c的值是1 但由于binlog没写完就crash,binlog里没有记录这语句。因此,之后备份日志时,存的binlog里没有这条语句。 然后你会发现,如果需要用这binlog来恢复临时库,由于这语句的binlog丢失,临时库就会少这次更新,恢复出来的这一行c的值就是0,与原库的值不同
如果在binlog写完之后crash,由于redo log还没写,崩溃恢复以后这个事务无效,所以这一行c的值是0。但是binlog里面已经记录了“把c从0改成1”这个日志。所以,在之后用binlog来恢复的时候就多了一个事务出来,恢复出来的这一行c的值就是1,与原库的值不同。
看到,不使用“两阶段提交”,那么数据库的状态就有可能和用它的日志恢复出来的库的状态不一致。 概率是不是很低,平时也没有什么动不动就需要恢复临时库的场景呀?不是的,不只是误操作后需要用这个过程来恢复数据。需要扩容时,需要再多搭建一些备库来增加系统的读能力的时候,现在常见的做法也是用全量备份加上应用binlog来实现的,这个“不一致”就会导致你的线上出现主从数据库不一致的情况。 redo log和binlog都可以用于表示事务的提交状态,而两阶段提交就是让这两个状态保持逻辑上的一致。