MySQL备份恢复深度优化计划

这是学习笔记的第 1800篇文章

备份恢复之前和同事投入了一些精力来完善,算是走上了平台化对接的一个开始,在满足功能的前提下,能够基本实现数据全备,增备和DML闪回,但是在性能和可控性方面还是存在不少的改进之处,最近梳理了下已有的备份恢复策略,准备在这个方面能有一定的成绩。

1.备份恢复技术选型

· 备份分为物理备份和逻辑备份,目前逻辑备份的使用存在问题,不够灵活。

· 定制灵活的备份策略,数据量小(暂定小于10G),使用逻辑备份+压缩,其他使用物理备份。

· 逻辑备份备份表结构,需要完善表结构恢复步骤,后续可以补充数据生命周期管理,通过对比获得数据属性变化明细。

· 逻辑备份工具不局限于mysqldump,可以调研mydumper,充分测试,以提高性能为目标

2 备份恢复元数据

· 备份元信息和实例元信息需要统一存放;

· 梳理目前遗漏的主从集群备份,为了减少主库压力,物理备份在从库端完成

· 补充目前缺少的单点实例备份,目前暂定Infobright,TokuDB的从库暂不使用物理备份,其他业务包括测试环境,大容量环境都需要做好数据备份。

· 补充完善数据恢复的元数据设计

· 接入备份配置时,可以根据历史备份情况(比如时长,备份日志量)进行计算

3 MySQL备份流程

· 备份时间可以做到时间窗口统一调度

· binlog2sql的取binlog日志还需到线上分析无法从Binlog server中取出;

· 梳理已有的binlog备份现状,查漏补缺,思路和备份数据稽核一致,binlog备份在从库端,需要充分利用binlog备份配置数据。

· 支持单库单表备份

· 备份看板数据需要丰富

· Binlog和备份下沉至HDFS,和大数据对接两个接口,一个是数据推送接口,一个是数据提取接口。

· Binlog备份需要定制和改进binlog2sql,目前的瓶颈在于python解析binlog效率较低,需要提高恢复效率

· Binlog2sql目前仅在mysql 5.7版本使用,需要补充适用在MySQL通用环境中

· 需要补充备份结果集的周期清理,通过灵活的配置来触发。

4 MySQL恢复流程

· 恢复时间可用,保证根据数据量和日志量,恢复控制在1个小时以内;

· 恢复的关键节点日志无法展示;

· 异机恢复脚本无法做到完全可控,补齐binlog时时间过长,中间可能出现问题,还需要更灵活;

· 恢复后数据库需要手动修改配置才可上线,如GTID,bp size,serverid,主从同步自动搭建;

· 数据恢复后加入MHA的考虑

· 对7天前数据恢复

· 恢复时长预测

· 异机恢复的文件只能选择最近一个;

原文发布于微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文发表时间:2018-11-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏非著名程序员

Android开发方便快捷的8个好工具,你造吗?

Android是第二个最流行的用于 智能手机和平板电脑 的操作系统。这里有8个最好的 Android工具以许多不同的方式 帮助开发人员 ,例如 - SDK和AV...

20970
来自专栏分布式系统进阶

KafkaBridge - Kafka Client SDK 开源啦~~~

KafkaBridge 封装了对Kafka集群的读写操作,接口极少,简单易用,稳定可靠,支持c++/c、php、python、golang等多种语言,并特别针对...

11110
来自专栏高性能服务器开发

4 关于游戏服务端架构的整理

一个大型的网落游戏服务器应该包含几个模块:网络通讯,业务逻辑,数据存储,守护监控(不是必须)。其中业务逻辑可能根据具体需要,又划分为好几个子模块。

42860
来自专栏finleyMa

(转) 网站统计中的数据收集原理及实现

原文地址:http://blog.codinglabs.org/articles/how-web-analytics-data-collection-syste...

25110
来自专栏ThoughtWorks

大型项目程序配置管理演化之路|TW洞见

今日洞见 文章作者、图片来自ThoughtWorks:窦衍森。封面图片来自网络。 本文所有内容,包括文字、图片和音视频资料,版权均属ThoughtWorks公司...

35060
来自专栏码神联盟

碎片化 | 第一阶段-05-Java环境变量配置技巧-视频

如清晰度低,可转PC网页观看高清版本: http://v.qq.com/x/page/y0565t5tzd6.html Java环境变量配置技巧 在开发过...

37890
来自专栏后端技术探索

高并发高性能分布式框架从无到有微服务架构设计分享

微服务架构模式(Microservice Architect Pattern)。近两年在服务的疯狂增长与云计算技术的进步,让微服务架构受到重点关注。

18510
来自专栏LEo的网络日志

coding感想(三)

39680
来自专栏FreeBuf

看我如何利用开发人员所犯的小错误来盗取各种tokens

实际上,在日常的开发过程中,开发人员很有可能会犯各种各样貌似“无伤大雅”的小错误,单独一个这样的小错误可能并不能搞什么事情,但如果将这些错误串起来形成一个漏洞链...

27950
来自专栏游戏杂谈

多文件压缩工具-RIA版

做游戏开发,在进入游戏前需要先加载很多资源文件,以XML格式居多。一般我们的做法是将多个XML/txt文件打包压缩,之前使用的方法是先将资源文件使用winrar...

11510

扫码关注云+社区

领取腾讯云代金券