抱歉,你查看的文章不存在

XtraBackup实践(一)备份

背景

目前随着用户越来越多 db的实时性和稳定性也提出了新的要求

之前的备份逻辑时逻辑备份 随着磁盘的扩容 也考虑目前再加上物理备份

详细区别可以从参考下文

逻辑备份 逻辑备份是备份sql语句,在恢复的时候执行备份的sql语句实现数据库数据的重现。 mysqldump mysqldump是采用SQL级别的备份机制,他将数据表导成SQL脚本文件,是最常用的逻辑备份方法。 物理备份 物理备份就是备份数据文件了,比较形象点就是cp下数据文件,但真正备份的时候自然不是的cp这么简单。 xtrabackup 是一个用来备份 MySQL数据库的开源工具。 主要特点:

  1. 在线热备份。可以备份innodb和myisam。innodb主要应用recovery原理。myisam直接拷贝文件。
  2. 支持流备份。可以备份到disk,tape和reomot host。–stream=tar ./ | ssh user@remotehost cat “>” /backup/dir/
  3. 支持增量备份。可以利用lsn和基础备份目录来进行增量备份。
  4. 支持记录slave上的master log和master position信息。
  5. 支持多个进程同时热备份,xtrabackup的稳定性还是挺好的。 准备

下载XtraBackup

wget http://www.percona.com/redir/downloads/XtraBackup/LATEST/binary/Linux/x86_64/percona-xtrabackup-2.1.8-733-Linux-x86_64.tar.gz

tar -xvf Percona-XtraBackup-2.4.8-r97330f7-el6-x86_64-bundle.tar

yum install percona-xtrabackup-24-2.4.8-1.el6.x86_64.rpm

安装成功后可以执行innobackupex指令

[root@iZuf65br1kzrdlcne4bxpzZ soft]# innobackupex

171028 11:05:58 innobackupex: Missing argument

[root@iZuf65br1kzrdlcne4bxpzZ soft]# which innobackupex

/usr/bin/innobackupex
#backupWithXtra.sh

#!/bin/sh

#on xtrabackup 2.2.8

# 第一次执行它的时候它会检查是否有完全备份,否则先创建一个全库备份

# 当你再次运行它的时候,它会根据脚本中的设定来基于之前的全备或增量备份进行增量备份

#ocpyang@126.com



INNOBACKUPEX_PATH=innobackupex  #INNOBACKUPEX的命令

INNOBACKUPEXFULL=/usr/bin//$INNOBACKUPEX_PATH  #INNOBACKUPEX的命令路径



#mysql目标服务器以及用户名和密码

MYSQL_CMD="--host=192.168.1.7 --user=root --password=root --port=3306"



MYSQL_UP=" --user=root --password='root' --port=3306 "  #mysqladmin的用户名和密码



TMPLOG="/tmp/innobackupex.$$.log"



MY_CNF=/etc/my.cnf #mysql的配置文件



MYSQL=/usr/bin/mysql



MYSQL_ADMIN=/usr/bin/mysqladmin



BACKUP_DIR=/home/backup/data # 备份的主目录



FULLBACKUP_DIR=$BACKUP_DIR/full # 全库备份的目录



INCRBACKUP_DIR=$BACKUP_DIR/incre # 增量备份的目录



FULLBACKUP_INTERVAL=86400 # 全库备份的间隔周期,时间:秒



KEEP_FULLBACKUP=1 # 至少保留几个全库备份



logdir=/home/backup/log/



logfiledate=backup.`date +%Y%m%d%H%M`.txt



#开始时间

STARTED_TIME=`date +%s`







#############################################################################



# 显示错误并退出



#############################################################################



error()

{

    echo "$1" 1>&2

    exit 1

}







# 检查执行环境



if [ ! -x $INNOBACKUPEXFULL ]; then

  error "$INNOBACKUPEXFULL 未安装或未链接到/usr/bin."

fi







if [ ! -d $BACKUP_DIR ]; then

  error "备份目标文件夹:$BACKUP_DIR 不存在."

fi







mysql_status=`netstat -nl | awk 'NR>2{if ($4 ~ /.*:3306/) {print "Yes";exit 0}}'`



if [ "$mysql_status" != "Yes" ];then

    error "MySQL 没有启动运行."

fi











if ! `echo 'exit' | $MYSQL -s $MYSQL_CMD` ; then

 error "提供的数据库用户名或密码不正确!"

fi







# 备份的头部信息



echo "----------------------------"

echo

echo "$0: MySQL备份脚本"

echo "开始于: `date +%F' '%T' '%w`"

echo







#新建全备和差异备份的目录



mkdir -p $FULLBACKUP_DIR

mkdir -p $INCRBACKUP_DIR







#查找最新的完全备份

LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`







# 查找最近修改的最新备份时间



LATEST_FULL_BACKUP_CREATED_TIME=`stat -c %Y $FULLBACKUP_DIR/$LATEST_FULL_BACKUP`





#如果全备有效进行增量备份否则执行完全备份

if [ "$LATEST_FULL_BACKUP" -a `expr $LATEST_FULL_BACKUP_CREATED_TIME + $FULLBACKUP_INTERVAL + 5` -ge $STARTED_TIME ] ; then

    # 如果最新的全备未过期则以最新的全备文件名命名在增量备份目录下新建目录

    echo -e "完全备份$LATEST_FULL_BACKUP 未过期,将根据$LATEST_FULL_BACKUP 名字作为增量备份基础目录名"

    echo "                     "

    NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUP

    mkdir -p $NEW_INCRDIR



    # 查找最新的增量备份是否存在.指定一个备份的路径作为增量备份的基础

    LATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n"  | sort -nr | head -1`

        if [ ! $LATEST_INCR_BACKUP ] ; then

            INCRBASEDIR=$FULLBACKUP_DIR/$LATEST_FULL_BACKUP

            echo -e "增量备份将以$INCRBASEDIR 作为备份基础目录"

            echo "                     "

        else

            INCRBASEDIR=$INCRBACKUP_DIR/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}

            echo -e "增量备份将以$INCRBASEDIR 作为备份基础目录"

            echo "                     "

        fi



    echo "使用$INCRBASEDIR 作为基础本次增量备份的基础目录."

    $INNOBACKUPEXFULL --defaults-file=$MY_CNF --use-memory=4G $MYSQL_CMD --incremental $NEW_INCRDIR --incremental-basedir $INCRBASEDIR > $TMPLOG 2>&1



    #保留一份备份的详细日志



    cat $TMPLOG>$logdir/$logfiledate



    if [ -z "`tail -1 $TMPLOG | grep 'innobackupex: completed OK!'`" ] ; then

     echo "$INNOBACKUPEX 命令执行失败:"; echo

     echo -e "---------- $INNOBACKUPEX_PATH 错误 ----------"

     cat $TMPLOG

     rm -f $TMPLOG

     exit 1

    fi



    THISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"'\" ) ; print p[2] }" $TMPLOG`

    rm -f $TMPLOG





    echo -n "数据库成功备份到:$THISBACKUP"

    echo



    # 提示应该保留的备份文件起点



    LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`



    NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUP



    LATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n"  | sort -nr | head -1`



    RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}



    RES_INCRE_BACKUP=`dirname ${INCRBACKUP_DIR}/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}`



    echo

    echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色

    echo -e "必须保留$KEEP_FULLBACKUP 份全备即全备${RES_FULL_BACKUP}和${RES_INCRE_BACKUP}目录中所有增量备份."

    echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色

    echo







else

    echo  "*********************************"

    echo -e "正在执行全新的完全备份...请稍等..."

    echo  "*********************************"

    $INNOBACKUPEXFULL --defaults-file=$MY_CNF  --use-memory=4G  $MYSQL_CMD $FULLBACKUP_DIR > $TMPLOG 2>&1

    #保留一份备份的详细日志



    cat $TMPLOG>$logdir/$logfiledate





    if [ -z "`tail -1 $TMPLOG | grep 'innobackupex: completed OK!'`" ] ; then

     echo "$INNOBACKUPEX 命令执行失败:"; echo

     echo -e "---------- $INNOBACKUPEX_PATH 错误 ----------"

     cat $TMPLOG

     rm -f $TMPLOG

     exit 1

    fi





    THISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"'\" ) ; print p[2] }" $TMPLOG`

    rm -f $TMPLOG



    echo -n "数据库成功备份到:$THISBACKUP"

    echo



    # 提示应该保留的备份文件起点



    LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`



    RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}



    echo

    echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色

    echo -e "无增量备份,必须保留$KEEP_FULLBACKUP 份全备即全备${RES_FULL_BACKUP}."

    echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色

    echo



fi













#删除过期的全备



echo -e "find expire backup file...........waiting........."

echo -e "寻找过期的全备文件并删除">> $logdir/$logfiledate

for efile in $(/usr/bin/find $FULLBACKUP_DIR/ -mtime +6)

do

    if [ -d ${efile} ]; then

    rm -rf "${efile}"

    echo -e "删除过期全备文件:${efile}" >> $logdir/$logfiledate

    elif [ -f ${efile} ]; then

    rm -rf "${efile}"

    echo -e "删除过期全备文件:${efile}" >> $logdir/$logfiledate

    fi;



done



if [ $? -eq "0" ];then

   echo

   echo -e "未找到可以删除的过期全备文件"

fi







echo

echo "完成于: `date +%F' '%T' '%w`"

exit 0

某位好心人放在网络上的备份脚本【可以自己设置备份间隔,比如一天一全备份 每隔1个小时增量备份】版权和作者信息均为去除

实际执行结果如下

./backupWithXtra.sh: MySQL备份脚本

开始于: 2017-10-28 14:08:16 6

完全备份2017-10-28_13-54-06 未过期,将根据2017-10-28_13-54-06 名字作为增量备份基础目录名

增量备份将以/home/backup/data/full/2017-10-28_13-54-06 作为备份基础目录

使用/home/backup/data/full/2017-10-28_13-54-06 作为基础本次增量备份的基础目录.

执行效果相当不错

可以考虑crontab了~O(∩_∩)O哈哈~

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

后端之路

0 篇文章0 人订阅

相关文章

来自专栏北京马哥教育

OpenStack Icehouse私有云实战部署(四)

Compute节点 配置内核网络参数 [root@compute ~]# vim /etc/sysctl.conf net.ipv4.conf.all.rp_...

3206
来自专栏13blog.site

让docker中的mysql启动时自动执行sql文件

本文提要 本文目的不仅仅是创建一个MySQL的镜像,而是在其基础上再实现启动过程中自动导入数据及数据库用户的权限设置,并且在新创建出来的容器里自动启动MySQL...

6826
来自专栏烂笔头

Django 1.10中文文档-第一个应用Part2-模型和管理站点

目录[-] 本教程继续Part1。我们将设置数据库,创建您的第一个模型,并快速介绍Django的自动生成的管理网站。 数据库设置 现在,编辑mysite/s...

3606
来自专栏散尽浮华

mysql数据库误删除后的数据恢复操作说明

在日常运维工作中,对于mysql数据库的备份是至关重要的!数据库对于网站的重要性使得我们对mysql数据的管理不容有失! 然后,是人总难免会犯错误,说不定哪天大...

42811
来自专栏乐沙弥的世界

Percona XtraDB Cluster 集群参数配置说明(PXC 5.7)

从PXC5.7版本开始,集群的配置主要是通过wsrep.cnf配置来实现。这个文件有几个常用的参数配置。下文对其做简要说明。

961
来自专栏杨建荣的学习笔记

由dual导致的一个潜在的监控问题(r7笔记第3天)

Oracle对于sys用户的审计是默认的操作,所以不管你开启了什么审计策略,sys的登录等操作都会记录下来,这也是Oracle的默认配置,可能他 们也没有料到有...

3316
来自专栏Ken的杂谈

CentOS 6/7 下MySQL 8.0 安装部署与配置

6037
来自专栏finleyMa

docker学习系列13 实现 基于pxc 的mysql 多节点主主同步

MySQL本身是开源的,有些公司或社区基于MySQL发布了新的分支,如有名的MariaDB。 在介绍 Percona 之前,首要要介绍的是XtraDB存储引擎...

1965
来自专栏乐沙弥的世界

传统路径导出 VS 直接路径导出(oracle exp direct=y)

      Oracle 传统的Export与Import依旧被保留到11g,而且9i与10g有很多依旧使用Export与Import方式进行备份与恢复的企业。...

913
来自专栏流柯技术学院

MYSQL设置远程账户登陆总结

打开 /etc/mysql/my.cnf 文件,找到 bind-address = 127.0.0.1 修改为 bind-address = 0.0.0.0

1993

扫码关注云+社区

领取腾讯云代金券