专栏首页杨建荣的学习笔记MySQL备份恢复深度优化计划

MySQL备份恢复深度优化计划

这是学习笔记的第 1800篇文章

备份恢复之前和同事投入了一些精力来完善,算是走上了平台化对接的一个开始,在满足功能的前提下,能够基本实现数据全备,增备和DML闪回,但是在性能和可控性方面还是存在不少的改进之处,最近梳理了下已有的备份恢复策略,准备在这个方面能有一定的成绩。

1.备份恢复技术选型

· 备份分为物理备份和逻辑备份,目前逻辑备份的使用存在问题,不够灵活。

· 定制灵活的备份策略,数据量小(暂定小于10G),使用逻辑备份+压缩,其他使用物理备份。

· 逻辑备份备份表结构,需要完善表结构恢复步骤,后续可以补充数据生命周期管理,通过对比获得数据属性变化明细。

· 逻辑备份工具不局限于mysqldump,可以调研mydumper,充分测试,以提高性能为目标

2 备份恢复元数据

· 备份元信息和实例元信息需要统一存放;

· 梳理目前遗漏的主从集群备份,为了减少主库压力,物理备份在从库端完成

· 补充目前缺少的单点实例备份,目前暂定Infobright,TokuDB的从库暂不使用物理备份,其他业务包括测试环境,大容量环境都需要做好数据备份。

· 补充完善数据恢复的元数据设计

· 接入备份配置时,可以根据历史备份情况(比如时长,备份日志量)进行计算

3 MySQL备份流程

· 备份时间可以做到时间窗口统一调度

· binlog2sql的取binlog日志还需到线上分析无法从Binlog server中取出;

· 梳理已有的binlog备份现状,查漏补缺,思路和备份数据稽核一致,binlog备份在从库端,需要充分利用binlog备份配置数据。

· 支持单库单表备份

· 备份看板数据需要丰富

· Binlog和备份下沉至HDFS,和大数据对接两个接口,一个是数据推送接口,一个是数据提取接口。

· Binlog备份需要定制和改进binlog2sql,目前的瓶颈在于python解析binlog效率较低,需要提高恢复效率

· Binlog2sql目前仅在mysql 5.7版本使用,需要补充适用在MySQL通用环境中

· 需要补充备份结果集的周期清理,通过灵活的配置来触发。

4 MySQL恢复流程

· 恢复时间可用,保证根据数据量和日志量,恢复控制在1个小时以内;

· 恢复的关键节点日志无法展示;

· 异机恢复脚本无法做到完全可控,补齐binlog时时间过长,中间可能出现问题,还需要更灵活;

· 恢复后数据库需要手动修改配置才可上线,如GTID,bp size,serverid,主从同步自动搭建;

· 数据恢复后加入MHA的考虑

· 对7天前数据恢复

· 恢复时长预测

· 异机恢复的文件只能选择最近一个;

本文分享自微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • MySQL备份恢复服务全景设计

    对于MySQL方向的备份恢复设计,其实是作为数据保障工作最基础的事情了,备份的重要性就不需要反复强调了。对于数据备份的必要性我在团队内的一个要求就是,如果没有从...

    jeanron100
  • MySQL备份恢复体系(一)

    说到备份恢复,不管你对心理学是否感兴趣,建议你要理解下墨菲定律:如果事情有变坏的可能,不管这种可能性有多小,它总会发生。

    jeanron100
  • MySQL备份恢复的调度优化技巧

    目前线上的环境早已经过百了,备份就是一个重复性的工作,之前做了一版数据库备份任务的自动化调度,可以根据备份时间来重新评估备份时间,算是一个有些技术难度的小技...

    jeanron100
  • 图文简述三种备份方式

    我们经常提到备份时,会想到全量备份、增量备份,但实际还有一个差异备份,我们就开始迷糊了。原来我们曾经以为理解的备份也不这么简单,我们来看一下。

    希望的田野
  • MySQL/MariaDB数据库备份与恢复

    前言 数据库一般存放着企业最为重要的数据,它关系到企业业务能否正常运转,数据库服务器总会遇到一 些不可抗拒因素,导致数据丢失或损坏,而数据库备份可以帮助我们...

    小小科
  • 世界备份日:你是否会备份自己的文件?

    备份是使用智能设备时一个需要重视的环节,很多人无论在使用PC设备还是移动终端时,都会忽略对重要资料的备份工作,一旦出现问题往往追悔莫及。虽然时下 流行的视频网站...

    安恒信息
  • 腾讯云上数十万实例的备份方法大揭秘。

    腾讯云数据库国产数据库专题线上技术沙龙正在火热进行中,5月23日杨杰的分享已经结束,没来得及参与的小伙伴不用担心,以下就是直播的视频和文字回顾。 关注“腾讯云...

    腾讯云数据库 TencentDB
  • 学会用各种姿势备份MySQL数据库

    前言 我们试着想一想, 在生产环境中什么最重要?如果我们服务器的硬件坏了可以维修或者换新, 软件问题可以修复或重新安装, 但是如果数据没了呢?这可能是最恐怖的事...

    小小科
  • MySQL企业版备份工具MEB

    ”工欲善其事,必先利其器“。数据备份是DBA的日常工作,也是保证数据安全的重要工作,要尽善尽美的完成这项工作,必须要使用一款高效可靠的备份工具。MySQL在其企...

    MySQLSE
  • MySQL备份恢复服务全景设计

    对于MySQL方向的备份恢复设计,其实是作为数据保障工作最基础的事情了,备份的重要性就不需要反复强调了。对于数据备份的必要性我在团队内的一个要求就是,如果没有从...

    jeanron100

扫码关注云+社区

领取腾讯云代金券