快速备份恢复工具mydumper/myloader

一 前言 大家对于MySQL的逻辑备份工具mysqldump应该都比较了解,本文介绍一款由MySQL ,Facebook 等公司的开发维护另外一套逻辑备份恢复工具---mydumper/myloader。 目前已经开发到0.9.1 版本。 mydumper 具有如下特性 1 支持多线程导出数据,速度比mysqldump快,生产上150G 导出到本地SSD磁盘40min 。 2 支持一致性备份,使用FTWRL(FLUSH TABLES WITH READ LOCK)会阻塞DML语句,保证备份数据的一致性。 3 支持将导出文件压缩,节约空间。 4 支持多线程恢复。 5 支持以守护进程模式工作,定时快照和连续二进制日志 6 支持按照指定大小将备份文件切割。 7 数据与建表语句分离。

二 原理 参考一张图 介绍mydumper的工作原理

图片来自[1] mydumper的主要工作步骤:

1 主线程 FLUSH TABLES WITH READ LOCK, 施加全局只读锁,以阻止DML语句写入,保证数据的一致性 2 读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中,以供即使点恢复使用 3 START TRANSACTION WITH CONSISTENT SNAPSHOT; 开启读一致事务 4 启用N个(线程数可以指定,默认是4)dump线程导出表和表结构 5 备份非事务类型的表 6 主线程 UNLOCK TABLES,备份完成非事务类型的表之后,释放全局只读锁 7 dump InnoDB tables, 基于事物导出InnoDB表 8 事物结束

三 安装使用 3.1 安装 mydumper 基于c语言编写,需要编译安装,因此需要安装编译工具。

  1. yum install glib2-devel mysql-devel zlib-devel pcre-devel zlib gcc-c++ gcc cmake -y
  2. wget https://launchpadlibrarian.net/225370879/mydumper-0.9.1.tar.gz
  3. tar xf mydumper-0.9.1.tar.gz
  4. cd mydumper-0.9.1/
  5. cmake .
  6. make && make install
  7. # cmake .
  8. -- Using mysql-config: /opt/mysql/bin/mysql_config
  9. -- Found MySQL: /opt/mysql/include, /usr/lib64/libperconaserverclient.so;/usr/lib64/libpthread.so;/usr/lib64/libm.so;/usr/lib64/librt.so;/usr/lib64/libdl.so
  10. -- Found ZLIB: /usr/lib64/libz.so (found version "1.2.3")
  11. -- Found PkgConfig: /usr/bin/pkg-config (found version "0.23")
  12. -- checking for one of the modules 'glib-2.0'
  13. -- checking for one of the modules 'gthread-2.0'
  14. -- checking for module 'libpcre'
  15. -- found libpcre, version 7.8
  16. -- Found PCRE: /usr/include
  17. CMake Warning at docs/CMakeLists.txt:9 (message):
  18. Unable to find Sphinx documentation generator
  19. -- ------------------------------------------------
  20. -- MYSQL_CONFIG = /opt/mysql/bin/mysql_config
  21. -- CMAKE_INSTALL_PREFIX = /usr/local
  22. -- BUILD_DOCS = ON
  23. -- WITH_BINLOG = OFF
  24. -- RUN_CPPCHECK = OFF
  25. -- Change a values with: cmake -D<Variable>=<Value>
  26. -- ------------------------------------------------
  27. --
  28. -- Configuring done
  29. -- Generating done
  30. -- Build files have been written to: /root/mydumper-0.9.1
  31. # make
  32. Scanning dependencies of target mydumper
  33. [ 25%] Building C object CMakeFiles/mydumper.dir/mydumper.c.o
  34. [ 50%] Building C object CMakeFiles/mydumper.dir/server_detect.c.o
  35. [ 75%] Building C object CMakeFiles/mydumper.dir/g_unix_signal.c.o
  36. Linking C executable mydumper
  37. [ 75%] Built target mydumper
  38. Scanning dependencies of target myloader
  39. [100%] Building C object CMakeFiles/myloader.dir/myloader.c.o
  40. Linking C executable myloader
  41. [100%] Built target myloader
  42. # make install
  43. [ 75%] Built target mydumper
  44. [100%] Built target myloader
  45. Linking C executable CMakeFiles/CMakeRelink.dir/mydumper
  46. Linking C executable CMakeFiles/CMakeRelink.dir/myloader
  47. Install the project...
  48. -- Install configuration: ""
  49. -- Installing: /usr/local/bin/mydumper
  50. -- Installing: /usr/local/bin/myloader

安装好之后 ,会生成两个文件: /usr/local/bin/mydumper /usr/local/bin/myloader 注意:

  1. 一般会遇到找不到 mysql-libraries 的问题,可以参考 stackoverflow 的回答。如果再解决不了,则可能是自己制定的MySQL安装目录的问题,比如我自己的安装目录是/opt/mysql/
  2. 则需要做一个软连接
  3. ln -s /opt/mysql/lib/libperconaserverclient.so /usr/lib64/libperconaserverclient.so

3.2 参数说明 mydumper 的常用参数

  1. -B, --database 要导出的dbname
  2. -T, --tables-list 需要导出的表名,导出多个表需要逗号分隔,t1[,t2,t3 ....]
  3. -o, --outputdir 导出数据文件存放的目录,mydumper会自动创建
  4. -s, --statement-size 生成插入语句的字节数, 默认1000000字节
  5. -r, --rows Try to split tables into chunks of this many rows. This option turns off --chunk-filesize
  6. -F, --chunk-filesize 切割表文件的大小,默认单位是 MB ,如果表大于
  7. -c, --compress 压缩导出的文件
  8. -e, --build-empty-files 即使是空表也为表创建文件
  9. -x, --regex 使用正则表达式匹配 db.table
  10. -i, --ignore-engines 忽略的存储引擎,多个值使用逗号分隔
  11. -m, --no-schemas 只导出数据,不导出建库建表语句
  12. -d, --no-data 仅仅导出建表结构,创建db的语句
  13. -G, --triggers 导出触发器
  14. -E, --events 导出events
  15. -R, --routines 导出存储过程和函数
  16. -k, --no-locks 不执行临时的只读锁,会导致备份不一致 。WARNING: This will cause inconsistent backups
  17. --less-locking 最小化在innodb表上的锁表时间 --butai
  18. -l, --long-query-guard 设置长时间执行的sql 的时间标准
  19. -K, --kill-long-queries 将长时间执行的sql kill
  20. -D, --daemon 以守护进程的方式执行
  21. -I, --snapshot-interval 创建导出快照的时间间隔,默认是 60s ,该参数只有在守护进程执行的时候有用。
  22. -L, --logfile 指定mydumper输出的日志文件,默认使用控制台输出。
  23. --tz-utc SET TIME_ZONE='+00:00' at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable.
  24. --skip-tz-utc #注意 如果你们的数据库里面有timestamp 字段,请使用该选项。默认时区为 SET TIME_ZONE='+00:00'
  25. --use-savepoints 使用savepoints 减少MDL 锁事件 需要 SUPER 权限
  26. --success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn

myloader使用参数

  1. -d, --directory 备份文件的文件夹
  2. -q, --queries-per-transaction 每次事物执行的查询数量,默认是1000
  3. -o, --overwrite-tables 如果要恢复的表存在,则先drop掉该表,使用该参数,需要备份时候要备份表结构
  4. -B, --database 需要还原的数据库
  5. -e, --enable-binlog 启用还原数据的二进制日志 ### 默认load data的时候是关闭binlog的,如果向生产主库导入数据 请务必 使用 -e ,--enable-binlog
  6. -h, --host The host to connect to
  7. -u, --user Username with privileges to run the dump
  8. -p, --password User password
  9. -P, --port TCP/IP port to connect to
  10. -S, --socket UNIX domain socket file to use for connection
  11. -t, --threads 还原所使用的线程数,默认是4
  12. -C, --compress-protocol 压缩协议,对于使用压测方式导出的文件,导入时带上-C 参数可以自动解压缩。
  13. -V, --version 显示版本
  14. -v, --verbose 输出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2

四 使用方法 #导出整个库

  1. mydumper -u root -S /srv/my3308/run/mysql.sock -B trade_platform -o /data/trade_platform

#仅仅导出platform的ddl语句不包含数据到指定的目录 /data/platform

  1. mydumper -u root -S /srv/my3308/run/mysql.sock -B platform -m -o /data/platform

#以压缩的方式导出的文件

  1. mydumper -u root -S /srv/my3308/run/mysql.sock -B trade_platform -c -o /data/trade_platform

备份文件以.gz 的格式压缩

  1. #ls
  2. metadata trade_platform.config.sql.gz trade_platform.trade_order-schema.sql.gz
  3. trade_platform.config-schema.sql.gz trade_platform-schema-create.sql.gz trade_platform.trade_order.sql.gz

#使用正则表达式

  1. mydumper -u root -S /srv/my3308/run/mysql.sock --regex='^(?!(mysql|test))' -o /data/bk20171110

其中正则表达式可以是 --regex=order.* 导出所有order 开头的表 mydumper 导出的文件

  1. [root@rac4 17:27:02 /data/platform]
  2. # ls
  3. metadata platform.config.sql platform.order.sql

mydumper 导出的文件 分为

  1. metadata :包含导出时刻的binlog 位点信息 ,如果启用gtid ,则记录gtid信息。
  2. Started dump at: 2017-11-10 17:26:53
  3. SHOW MASTER STATUS:
  4. Log: mysql-bin.000025
  5. Pos: 505819083
  6. GTID:
  7. Finished dump at: 2017-11-10 17:27:02
  8. db.table.sql :数据文件,insert语句
  9. db.table-schema.sql :包含建表语句
  10. db-schema.sql :包含建库语句

注意 0.9.1 版本去掉了 --binlogs 参数,故会少了启用binlogs参数相关的文件。 有兴趣的朋友可以继续阅读 这里 [2],有专门针对mydumper 0.9.1 版本新特性的说明。

导入数据

myloader -u root -h 127.0.0.1 -P 3344 -B trade_platform -d /data/trade_platform -e -o

记得生产环境下,向主库导入数据 ,请务必加上 -e ,否则不产生binlog ,需要重建从库。

myloader 还支持从原库A 导入到B库。-s 表示源库,-B 表示目标库。

myloader -u root -h 127.0.0.1 -P 3306 -s a_db -B b_db -d /data/trade_platform -e -o

五 小结 从目前的测试来看,mydumper对备份的速度有一定提升,但是没有网络上说的10倍那么高。我已经在我们的开发测试环境部署了该工具的备份脚本,用来解决开发同学的偶尔冒失行为。相比mysqldump,mydumper的导出的文件形式是每个表一个文件,对于开发/测试环境的误操作恢复十分有效。重要的事情再强调一下 恢复数据的时候 务必带上 -e 参数 和检查表是否有timestamp字段,如果有就要加上 --skip-tz-utc 参数。

参考文章 [1] http://www.cnblogs.com/linuxnote/p/3817698.html

[2] https://www.percona.com/blog/2015/11/12/logical-mysql-backup-tool-mydumper-0-9-1-now-available/

[3] 搜索 cmake-is-not-possible-to-find-mysql-libraries-when-i-setup-mydumper

原文发表时间:2017-11-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏散尽浮华

Mysql备份系列(3)--innobackupex备份mysql大数据(全量+增量)操作记录

在日常的linux运维工作中,大数据量备份与还原,始终是个难点。关于mysql的备份和恢复,比较传统的是用mysqldump工具,今天这里推荐另一个备份工具in...

383100
来自专栏小樱的经验随笔

sqlmap简单中文说明

首先下载需要的文件,如果是windows环境直接到http://sqlmap.org/下载安装所需要的文件即可。 更新 svn checkout https:...

33070
来自专栏hbbliyong

attempt to write a readonly database错误的解决(C#,SQLite)

  今天打包WPF程序,安装后总是打不开,查看监控日志原来是SQLite的问题,报错如图 ? 当向SQLite数据库中存入新纪录时总是显示attempt to ...

58860
来自专栏乐沙弥的世界

数据泵IMPDP 导入工具的使用

数据的导入导出时数据库经常处理的作业之一,Oracle 提供了IMP和IMPDP以及SQL*Loader等工具来完成数据的导入工作,其中IMP服务于早期的9i...

11210
来自专栏程序工场

SSM框架原理,作用及使用方法

SSM框架是spring MVC ,spring和mybatis框架的整合,是标准的MVC模式,将整个系统划分为表现层,controller层,service层...

16210
来自专栏Java学习123

忘记oracle的sys用户密码怎么修改

32150
来自专栏乐沙弥的世界

快速体验MyCAT

横空出世的MyCat截至到2015年4月,保守估计已经有超过60个项目在使用,主要应用在电信领域、互联网项目,大部分是交易和管理系统,少量是信息...

23910
来自专栏北京马哥教育

CentOS下MySQL移至MariaDB

Google都将MySQL移至MariaDB了,我的朋友也Ubuntu下移至MariaDB,我还是不能落后吧,今天将CentOS下MySQL移至MariaDB...

31470
来自专栏mantou大数据

【大数据安全】Kerberos集群安装配置

Kerberos是一种计算机网络认证协议,它允许某实体在非安全网络环境下通信,向另一个实体以一种安全的方式证明自己的身份。它也指由麻省理工实现此协议,并发布的一...

28230
来自专栏云计算

如何在Debian 9上设置MariaDB

MariaDB是MySQL的直接替代品。它致力于成为寻求强大,可扩展且可靠的SQL Server的数据库专业人员的合理选择。本指南将帮助初学者在Debian 9...

1.3K30

扫码关注云+社区

领取腾讯云代金券