MySQL主从复制——主库已有数据的解决方案

在上篇文章中我们介绍了基于Docker的Mysql主从搭建,一主多从的搭建过程就是重复了一主一从的从库配置过程,需要注意的是,要保证主从库my.cnf中server-id的唯一性。搭建完成后,可以在主库 show slave hosts查看有哪些从库节点。

我们来简单了解一下Mysql主从复制的过程:

(1) master将改变记录到二进制日志(binary log)中(这些记录叫做二进制日志事件,binary log events); (2) slave将master的binary log events拷贝到它的中继日志(relay log); (3) slave重放中继日志中的事件,将改变反映它自己的数据。

MySQL主从复制——主库已有数据的解决方案

由单机架构切换到一主一从或一主多从,在增加从库节点前,主库可能已经运行过一段时间,这种情况在实际业务中很常见。那么如何应对开启主从复制前主库有数据的场景呢?

第一种方案是选择忽略主库之前的数据,不做处理。这种方案只适用于不重要的可有可无的数据,并且业务上能够容忍主从库数据不一致的场景。

第二种方案是对主库的数据进行备份,然后将主数据库中导出的数据导入到从数据库,然后再开启主从复制,以此来保证主从数据库数据一致。

我们来详细看一下第二种方案的处理:

查看主数据库已有的数据库

我们在主数据库准备了一个TEST1库,并且在其中准备一张数据表TEST和几条测试数据。

使用Docker创建从数据库

docker run-p3346:3306--name mysql-slave4-e MYSQL_ROOT_PA SSWORD=123456-d mysql:5.7

锁定主数据库

锁定主数据库,只允许读取不允许写入,这样做的目的是防止备份过程中或备份完成之后有新数据插入,导致备份数据和主数据数据不一致。

mysql>flush tableswithreadlock;

查询主数据库状态,并记下FILE及Position的值

mysql>show master status;

备份主数据库

退出mysql终端,执行docker mysql备份命令

dockerexec[CONTAINER]/usr/bin/mysqldump-u username--password=xxx[DATABASE]>backup.sql

我们这里只需要备份TEST1数据库,若要备份全部数据库,[DATABASE]处使用 --all-databases

此时报出 Warning:Usinga password on the command lineinterfacecan be insecure.,这是因为我们在命令行输入了密码,所以会有安全警告信息。解决方案是在/etc/mysql/my.cnf中加入如下配置:

[mysqldump]
user = root
password = rootpassword

修改完配置文件后,再次执行备份命令不需要涉及用户名密码相关信息。

主数据库备份数据导入从数据库

cat backup.sql | docker exec -i [CONTAINER] /usr/bin/mysql -u username --password=xxx [DATABASE]

和上一步一样,我们也需要在从数据库配置用于备份的用户名和密码信息。

需要先在从数据库建立一个同名数据库,才能导入主数据库备份数据。切换到从数据库执行 CREATE DATABASE TEST1;,然后再次导入主数据备份数据。

此时备份数据导入已完成,可以在从数据库进行数据验证。

配置从数据库

dockerexec-it mysql-slave4/bin/bash

cd/etc/mysql

vimy.cnf,加入以下配置,注意server-id要保证唯一:

service mysql restart重启mysql服务,这会使得mysql服务所在的docker容器停止

docker start mysql-slave4启动docker容器

配置主从链接

切换到从数据库,执行 change master to master_host='172.17.0.2',master_user='slave',master_password='123456',master_port=3306,master_log_file='mysql-bin.000001',master_log_pos=4952,master_connect_retry=30;,关于这个命令在上一篇博客中有详细介绍。

启动主从复制 start slave;,此时查看从库状态 show slave status \G;,若是SlaveIORunning 和 SlaveSQLRunning 都是Yes,说明开启主从复制过程成功。

解锁主数据库

切换回主数据库的终端,进行表解锁操作。

unlock tables;

测试主从复制

在主数据库插入一条测试数据

切换到从数据库,查询测试数据,说明主从复制成功。

总结

应该尽可能优化流程,减少锁表时间。

尽可能减少锁表范围,只锁定相关的数据库。

原文发布于微信公众号 - 撸码那些事(lumanxs)

原文发表时间:2018-07-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张秀云的专栏

MySQL 压缩解决方案(一)

本文描述 mysql 压缩的使用场景和解决方案,包括压缩传输协议、压缩列解决方案和压缩表解决方案。

3.4K10
来自专栏iMySQL的专栏

MySQL FAQ 系列 : 如何安全地关闭 MySQL 实例

本文分析了 mysqld 进程关闭的过程,以及如何安全、缓和地关闭 MySQL 实例,对这个过程不甚清楚的同学可以参考下。

31000
来自专栏运维技术迷

MySQL数据库(六):体系结构和存储引擎

一、mysql 体系结构 连接池:内存/cpu/进程数 管理工具:提供mysql数据库服务的软件自带的命令 sql接口:传递sql命令给mysqld进程 ...

37280
来自专栏乐沙弥的世界

快速体验MyCAT

横空出世的MyCat截至到2015年4月,保守估计已经有超过60个项目在使用,主要应用在电信领域、互联网项目,大部分是交易和管理系统,少量是信息...

24110
来自专栏逸鹏说道

zabbix最新SQL注入漏洞+EXP

最近zabbix又出大事了,高危的SQL注入漏洞,影响V3.0.4以下所有版本,请小伙伴及时修复。 漏洞概述: zabbix是一个开源的企业级性能监控解决方案。...

42080
来自专栏流柯技术学院

MYSQL设置远程账户登陆总结

打开 /etc/mysql/my.cnf 文件,找到 bind-address = 127.0.0.1 修改为 bind-address = 0.0.0.0

23230
来自专栏乐沙弥的世界

Percona XtraDB Cluster Strict Mode(PXC 5.7)

在Percona XtraDB Cluster集群架构中,为了避免多主节点导致的数据异常,或者说一些不被支持的特性引发的数据不一致的情形,PXC集群可以通过配置...

18820
来自专栏云计算教程系列

如何在Ubuntu 16.04上安装和配置Zabbix以安全地监视远程服务器

Zabbix是用于web和应用程序的开源监控软件。它提供对从服务器,虚拟机和任何其他类型的网络设备收集的数千个指标的实时监控。这些指标可帮助确定IT基础架构的当...

23230
来自专栏CaiRui

xtrabackup使用

转自:https://www.cnblogs.com/waynechou/p/xtrabackup_backup.html 阅读目录 xtrabackup 选项...

729100
来自专栏一个默默无闻的工程师的日常

openstack 无法连接 Connection aborted , BadStatusLine

49430

扫码关注云+社区

领取腾讯云代金券