通过备份文件恢复实例

最近更新时间:2020-08-24 18:08:18

MariaDB 可通过回档功能来查看历史数据,如果您需要在本地恢复您的数据库实例,可按照本文的步骤进行操作恢复历史数据。

前提条件

准备服务器

如您需在本地恢复数据库实例,请确保服务器基本配置如下:

  • CPU:2核或以上。
  • 内存:4G或以上。
  • 磁盘空间:必须超过数据库已用空间并留足系统所需的临时空间。
  • 操作系统:centos。

准备数据库

下文以安装 MariaDB 10.0.10 为例:

  1. 添加 yum 源。
    vi /etc/yum.repos.d/mariadb-10.0.10.repo):
    # MariaDB 10.0 CentOS repository list - created 2016-05-30 02:16 UTC
    # http://downloads.mariadb.org/mariadb/repositories/
    [mariadb]
    name = MariaDB
    # baseurl = http://yum.mariadb.org/10.0/centos7-amd64
    baseurl = http://archive.mariadb.org/mariadb-10.0.10/yum/centos6-amd64/
    gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
    gpgcheck=0
  2. 检查配置 yum 源对应的 MariaDB 版本是否为10.0.10。
    yum makecache
    yum info MariaDB-server
  3. 安装 MariaDB-server。
    yum install MariaDB-server
    说明:

    提示与旧版本冲突时,需要先移除之前的安装包,例如yum remove mariadb-libs

安装辅助工具

  1. 安装 MariaDB 客户端。
    yum install MariaDB-client
  2. 安装 LZ4 解压软件,请参见 解压备份文件和日志文件。LZ4 默认安装在mysqlagent/bin目录下,也可以将其放置在/usr/bin目录下,当环境变量引用。
    yum install -y lz4
    percona-xtrabackup
    yum install http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm
    yum install percona-xtrabackup

下载备份

MariaDB 控制台,单击实例名进入实例管理页,在【备份与恢复】页获取备份下载地址。
下载命令示例:

wget  --content-disposition 'http://1x.2xx.0.27:8083/2/noshard1/set_1464144850_587/1464552298xxxxxxxx'

通过备份文件恢复数据库(未加密)

1. 进入备份文件下载目录,通过 lz4 解压冷备文件

lz4 -d set_1464144850_587.1464552298.xtrabackup.lz4

2. 使用 xbstream 工具解压到临时目录 xtrabackuptmp

mkdir xtrabackuptmp/
mv set_1464144850_587.1464552298.xtrabackup xtrabackuptmp/
xbstream -x < set_1464144850_587.1464552298.xtrabackup

解压完后,目录和文件内容如下:

3. 使用 innobackupex 应用日志

mkdir /root/dblogs_tmp
innobackupex --apply-log  --use-memory=1G --tmpdir='/root/dblogs_tmp/' /root/xtrabackuptmp/

操作成功后,会显示completed OK!,如下所示:

4. 停止数据库,清空数据文件

service mysql stop

清空数据文件(数据目录、表空间目录、日志目录):

mkdir /var/lib/mysql-backup
mv /var/lib/mysql/* /var/lib/mysql-backup

5. 修改数据库参数文件

修改数据库参数文件(/etc/my.cnf.d/server.cnf),具体参数数值请参考解压文件中backup-my.cnf的参数。不能直接用 backup-my.cnf 替换参数文件。

[mysqld]
skip-name-resolve
datadir=/var/lib/mysql
innodb_checksum_algorithm=innodb
innodb_log_checksum_algorithm=innodb
innodb_data_file_path=ibdata1:2G:autoextend
innodb_log_files_in_group=4
innodb_log_file_size=1073741824
innodb_page_size=4096
innodb_log_block_size=512
innodb_undo_tablespaces=0

6. 使用 innobackupex 加载镜像

innobackupex --defaults-file=/etc/my.cnf --move-back /root/xtrabackuptmp/

成功后,显示Complete OK!,如下所示:

7. 启动数据库

chmod 777 -R /var/lib/mysql
service start mysql

如果遇到启动失败,则需要检查错误信息,修复后再重新启动。

8. 连接数据库查看数据

数据库启动后,您可能需要通过原来的账号密码来连接数据库查看数据。

通过备份文件恢复数据库(已加密)

数据透明加密(TDE)当前仅支持 Percona 5.7 版本,您可以通过云数据库 MariaDB 入口访问,请先下载并安装本次恢复需要的关键工具。加密流程如下:

1. 将备份文件解压到临时目录

请参见 进入备份文件下载目录,通过 lz4 解压冷备文件使用 xbstream 工具解压到临时目录 xtrabackuptmp 中

本节示例中,将备份解压到临时目录./backup_dir 中。lz4 默认安装在mysqlagent/bin目录下,也可将其放置在/usr/bin目录下,当环境变量引用。

2. 获取数据密钥明文

您可以使用密钥管理 KMS 的 API 接口。

innobackupex --apply-log --rebuild-indexes  --use-memory=1G  --tmpdir=/tmp ./backup_dir/

3. 数据恢复前的准备工作

请参见 停止数据库,清空数据文件

4. 获取数据密钥明文

说明:

如需使用 连接加密 功能,请 提交工单 申请。

解密数据前,需在 MariaDB 控制台 的实例管理页的【数据安全性】>【连接加密】中查询数据密钥密文,然后,您可以通过如下两种方案(任选其一)解密数据密钥密文,得到数据密钥明文

  • 通过密钥管理服务 KMS 的 API,自己实现获取数据密钥明文,请参见 KMS API 文档
  • 通过腾讯云提供的 Python 脚本./kms_tool.py,获取数据密钥明文。
    • 参数解释:
      • --role:格式固定,填入 kmsTDSQLRole 即可。
      • --secret_id、--secret_key:授权信息,可在【访问管理】中的 API 密钥管理 查询。
      • --region:地域信息,可在 KMS 公共参数 中查询。
      • --ciphertext:数据密钥密文。
    • 使用 demo 案例:
      python ./kms_tool.py --role="qcs::cam::uin/xxxxxxxxx:roleName/kmsTDSQLRole" 
      --secret_id="xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" --secret_key="xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
      --region="ap-hongkong" --ciphertext="CtFlCxx0+LilyvZ5xxqSIA/KEhVexxIGfBwzXiMShQZxxxWAUsHcfLQ0xxxDH2D49/nOw==-k-fKVP3WxxxMW4jEkQ==-k-zudP3Tz4jxrxxxKkuKU+0V/gVVaxxIaRl/+83qCinaBxxU5e1MpW4q/IJKpxxb9N9/rO
      5Es03fxxxn8Sjex6mnl+YKV1SMQog+RJ1xxxNmwx/22hhHb/1B5LGpwB8tbXKD3gL0tZwSxxxUnONh5+6ssb2cxxxBhGj9oXtbL6OC74PuDO1D/AsQ6qBxxxTSA68s8Q="

5. 重新生成数据密钥文件

获取数据密钥明文后,您可以通过如下两种方案(任选其一)生成数据密钥文件。

  • 通过兼容 Percona 的 TDE 开源工具生成。
  • 通过腾讯云提供的工具./keyring_tool生成数据密钥文件。./keyring_tool的基本命令格式为 ./keyring_tool "[ciphertext]" [File Path]
    • 数据密钥串 ciphertext 文本需要加上双引号。
    • keyring_tool依赖libboost_program_options.so.1.53.0,若系统没有该 lib 库,需要先执行:export LD_LIBRARY_PATH=.:$LD_LIBRARY_PATH,再运行keyring_tool

6. 通过./innobackupex工具对备份文件进行 apply

下图为通过./innobackupex对备份文件进行 apply,直至 apply 正常结束。apply 时需要通过--keyring-file-data=key_file来指定密钥,同时该参数指定的路径须填绝对路径。

此处及后文中用到的 xtrabackup,为腾讯云专有云数据库 TDSQL 自带的 xtrabackup,默认放置在专有云安装包目录下的 xtrabackup 目录。

工具使用 demo 如下:

./innobackupex --apply-log  --use-memory=1G  --tmpdir=/tmp  --keyring-file-data=/data/home/test/key_file   ./backup/ 

7. 通过./innobackupex工具将备份拷贝到数据目录

下图为通过./innobackupex对备份文件进行移动,建议使用 MySQL 启动用户权限。
工具使用 demo 如下:

./innobackupex --defaults-file='/data/home/seven/tdsqlinstall/percona-5.7.17/etc/my_8003.cnf' --move-back ./backup_dir/

8. 通过keyring_file工具将生成的密钥文配置到 MySQL

下图为通过keyring_file将生成的密钥文配置到 MySQL,注意红框中的配置,建议使用 MySQL 启动用户权限运行keyring_file

9. 重新启动 mysqld

下图为腾讯云专有云数据库 TDSQL 自带的启动脚本,您也可以使用其他方案启动 mysqld。

10. 正常访问加密表

成功恢复加密备份后,您可以直接访问已加密表。如果缺少密钥也能恢复,但访问加密表时,会出现错误提示:can't find master key from keying,please check keyring plugin is loaded(开源版 MySQL 或 Percona 会提示 Error 错误)。

目录