如何利用 Myflash 解析 binlog ?

作者 | 李真旭:网名 Roger,Oracle ACE,拥有超过10年的 Oracle 运维管理使用经验;参与过众多移动、电信、联通、银行等大型数据库交付项目, 具有丰富的运维管理经验,对 Oracle 数据库管理运行机制、锁机制、优化机制等具有深入理解;擅长 Oracle 数据库的 performance tunning、troubleshooting 以及异常恢复;个人博客:http://www.killdb.com

新美大在 binlog2sql 的基础只是开源了一款新的小工具叫 Myflash;用于解析binlog 实现快速数据恢复,类似 Oracle 中的 Flashback 功能,不过目前仅支持MySQL 5.6、5.7版本(MariaDB 10 已经引入了 Flashback 功能)。在这里进行了简单测试,以后恢复 DML 误操作就更简单一些了。

1) 首先需要准备好 Myflash 测试环境

大家可以去这里下载源程序:https://github.com/Meituan-Dianping/MyFlash

这里的测试环境是 Redhat Linux 6.5,直接解压 myflash 无法运行,发现 glibc 版本不匹配,需要 2.14 版本。因此首先需要编译新版本的 glibc。

–下载 glibc 2.14

---下载lib包

# wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz # wget http://ftp.gnu.org/gnu/glibc/glibc-ports-2.14.tar.gz # tar -xvf glibc-2.14.tar.gz # tar -xvf glibc-ports-2.14.tar.gz # mv glibc-ports-2.14 glibc-2.14/ports # mkdir glibc-build-2.14 # cd glibc-build-2.14/

–编译

# ../glibc-2.14/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin # make

–拷贝 libc.so.6 到 /lib64

[root@killdb glibc-build-2.14]# cp libc.so.6 /lib64/libc-2.14.so

–删除原来的 libc

[root@killdb lib64]# rm -rf /lib64/libc.so.6 rm: error while loading shared libraries: libc.so.6: cannot open shared object file: No such file or directory [root@killdb lib64]# export LD_PRELOAD=/lib64/libc-2.14.so [root@killdb lib64]# rm -rf /lib64/libc.so.6 [root@killdb lib64]# ln -s /lib64/libc-2.14.so /lib64/libc.so.6

–make install

# make install

–确认是否 OK

可以看到已经可以了,支持最新的 GLIBC_2.14 了。下面开始测试 myflash。

2) 如下是针对 Myflash 的简单测试过程

–创建测试表

mysql> CREATE TABLE `Test` ( -> `ID` int(11) NOT NULL AUTO_INCREMENT, -> `NAME` varchar(50) NOT NULL, -> PRIMARY KEY (`ID`) -> ) AUTO_INCREMENT=1000 -> ;

–创建测试存储过程模拟 10 万条测试数据

mysql> delimiter $$ mysql> create procedure pro_test() -> begin -> declare id int; -> set id = 100000; -> while id>0 do -> insert into Test(name) values ('www.killdb.com'); -> set id = id-1; -> end while; -> end $$ Query OK, 0 rows affected (0.00 sec) mysql> delimiter ; mysql> call pro_test(); Query OK, 1 row affected (44.21 sec)

–模拟删除 5 万条数据

mysql> delete from Test limit 50000; Query OK, 50001 rows affected (0.54 sec) mysql> select count(1) from Test; +----------+ | count(1) | +----------+ | 50001 | +----------+ 1 row in set (0.01 sec) mysql>

–利用 Myflash 解析 binlog

这里简单的修改了一个小脚本,实现了半自动化。

[root@killdb binary]# ./flashback.sh [root@killdb binary]# cat flashback.sh #!/bin/bash file_path=/root/myflash/binary/ cd /root/myflash/binary ./flashback --databaseNames enmotech --tableNames Test --sqlTypes delete --binlogFileNames=/opt/mysql/mysql-bin.000003 ./flashback --maxSplitSize=15 --binlogFileNames=binlog_output_base.flashback arr=`find ${file_path} -name "binlog_output_base.0*"|sort -n` for i in ${arr} do mysqlbinlog ${i} | mysql -S /opt/mysql/mysql.sock done

–验证数据

mysql> select count(1) from Test; +----------+ | count(1) | +----------+ | 100001 | +----------+ 1 row in set (0.02 sec)

可以看到数据很容易就恢复出来了,效率非常高。比 binsql2sql 要高很多。整个恢复过程大概 1~2 秒。不仅是 delete,实际对于 insert 和 update 的 DML 操作,都是支持的。

本文分享自微信公众号 - 数据和云(OraNews)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-04-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏开源优测

性能测试必备监控技能MySQL篇15

前言 性能测试过程中,数据库相关指标的监控是不可忽视的,在这里我们就MySQL的监控配置及重点涉及性能的一些参数进行说明。 在笔者的日常性能测试过程中,重点关注...

384120
来自专栏腾讯云数据库团队的专栏

PostgreSQL 的 MVCC 机制解析

PostgreSQL 是通过 MVCC (Multi-Version Concurrency Control) 来保证事务的原子性和隔离性,本文通过一些事例对 ...

76200
来自专栏散尽浮华

mysql数据库误删除后的数据恢复操作说明

在日常运维工作中,对于mysql数据库的备份是至关重要的!数据库对于网站的重要性使得我们对mysql数据的管理不容有失! 然后,是人总难免会犯错误,说不定哪天大...

571110
来自专栏数据库

MySQL数据库性能优化之一

文章来自:博客 数据库属于 IO密集型的应用程序,其主要职责就是数据的管理及存储工作。而我们知道,从内存中读取一个数据库的时间是微秒级别,而从一块普通硬盘上读取...

624100
来自专栏决胜机器学习

《高性能MySQL》读书笔记(二) ——MySQL存储引擎概述

《高性能MySQL》读书笔记(二)——MySQL存储引擎概述 (原创内容,转载请注明来源,谢谢) 一、基础信息 mysql将数据库保存在数据目录下...

42150
来自专栏杨建荣的学习笔记

MySQL中的MVCC(r12笔记第35天)

最近同事也问了我关于MySQL MVCC的一些问题,我觉得这个话题蛮有意思, 而之前似乎也没有总结过,就参考了一些资料,把一些内容摘录出来。 什么是MVCC 以...

38570
来自专栏冷冷

MySQL二进制日志

MySQL 5.5 中对于二进制日志 (binlog) 有 3 种不同的格式可选:Mixed,Statement,Row,默认格式是 Statement。 总结...

21050
来自专栏Java开发者杂谈

Mysql锁初步

存储引擎 要了解mysql的锁,就要先从存储引擎说起。 常用存储引擎列表如下图所示: ? 最常使用的两种存储引擎: Myisam是Mysql的默认存储引擎。当c...

36380
来自专栏性能与架构

Mysql优化中Profiling的使用

要想优化一条Query,就须要清楚这条Query的性能瓶颈到底在哪里,是消耗的CPU计算太多,还是需要的IO操作太多?要想能够清楚地了解这些信息,可以通过Que...

31340
来自专栏杨建荣的学习笔记

由小见大-MySQL脚本部署中的一些策略

在线上环境中部署脚本,可谓是常在河边走,哪有不湿鞋,所以大大小小的案例总结下来,还是会发现一些有趣的地方,这些可以作为操作时的一些参考,仅供参考而已。 第一类...

36060

扫码关注云+社区

领取腾讯云代金券