专栏首页DBA随笔MySQL主从复制详细介绍

MySQL主从复制详细介绍

MySQL主从复制详细介绍

一、主从复制的目的

MySQL内建的复制功能是构建基于MySQL的大规模、高性能应用的基础,复制功能的目的是构建高性能的应用,同时也是高可用性、可扩展性、灾难恢复、备份以及数据仓库等工作的基础。比较常见的用途有以下几种:

数据分布:备份特定数据库

负载均衡:读写分离

高可用性和故障切换:从库的存在可以缩短宕机时间

MySQL升级测试:使用一个更高版本的MySQL作为备库,保证在升级全部实例前,查询能够在备库按照预期进行

二、主从复制的原理和步骤

简单的说就是master将数据库的改变写入binary log二进制日志,这个日志会记录下所有修改了数据库的SQL语句(insert,update,delete,grant等),slave同步这些二进制日志,并根据这些二进制日志进行数据操作,其实就是把主服务器上的binary log复制到从服务器上执行一遍,这样从服务器上的数据就和主服务器上的数据相同了。

整体来说,主从复制有以下步骤:

1.主节点必须启用二进制日志,记录任何修改数据库数据的事件。

2.从节点开启一个线程I/O Thread把自己扮演成mysql的客户端,通过mysql协议,请求主节点的二进制日志文件中的事件

3.主节点启动一个线程(dump Thread),检查自己二进制日志中的事件,跟对方请求的位置对比,如果不带请求位置参数,则主节点就会从第一个日志文件中的第一个事件一个一个发送给从节点。

4.从节点接收到主节点发送过来的数据把它放置到中继日志(Relay log)文件中。并记录该次请求到主节点的具哪个二进制日志文件的哪个位置。

5.从节点启动另外一个线程(sql Thread ),把replaylog中的事件读取出来,并在本地再执行一次。

其原理图如下:

三、复制中线程的作用

从节点:

I/O Thread:从Master请求二进制日志事件,并保存于中继日志中。

Sql Thread:从中继日志中读取日志事件,在本地完成更新。

主节点:

Dump Thread:为每个Slave的I/O Thread启动一个dump线程,用于向从节点发送二进制事件。 如果从节点需要作为其他节点的主节点时,是需要开启二进制日志文件的。这种情况叫做级联复制。如果只是作为从节点,则不需要创建二进制文件。

四、主从复制配置过程

主节点:

1.启用二进制日志。

2.为当前节点设置一个全局唯一的server_id。

3.创建有复制权限的用户账号 replication slave。

从节点:

1.启动中继日志。

2.为当前节点设置一个全局唯一的server_id。

3.使用有复制权限的用户账号连接至主节点,并启动复制线程。

4.1 测试环境

4.2 主节点配置过程

4.2.1 编辑主节点配置文件

在Centos中打开my.cnf文档:

vi /etc/my.cnf

· 添加:log-bin = mysql-bin(开启二进制日志)

· 添加:server-id =4(设置服务器id,主节点和从节点的id需要设为不同)

· 添加:binlog-do-db=DBAs(确定需要同步的数据库)

· 添加:binlog-ignore-db=mysql(此处可以实际需求添加需要忽略的数据库)

· 添加:expire_logs_days=7(自动清理 7 天前的log文件,可根据需要修改)

4.2.2 启动主节点mysql服务,并连接mysql

正常情况下,mysql服务启动命令为:

cd /usr/local/mysql/./bin/mysqld./bin/mysql -uroot -p******

为了更方便的启动mysql服务,为mysql创建软连接

ln -s /usr/local/mysql/bin/mysql /usr/binln -s /usr/local/mysql/bin/mysqld /usr/bin

此时,启动命令变为:

mysqldmysql -uroot -p******

4.2.3 测试日志信息

(1)查看二进制日志是否开启

命令:

show variables like '%log_bin%';

(2)查看主节点二进制日志列表

命令:

show master logs

(3)查看主节点的server_id

命令:

show global variables like '%server%';

4.2.4 在主节点上创建有复制权限的用户

命令:

grant replication slave on *.* to 'repluser'@'%' identified by '123456'

其中,repluser代表用户名称,%指的是所有的IP都可以访问,123456是用户密码,

4.2.5 查看主服务器上当前的二进制日志名和偏移量值

命令:

show master status\G

从节点同步时,File 和Position 要和主节点上的一致

4.3 从节点配置过程

4.3.1 编辑从节点配置文件

在Centos中打开my.cnf文档。

命令:

vi /etc/my.cnf

· 添加:log-bin = mysql-bin(开启从节点的二进制日志)

· 添加:server_id=5(设置从节点的id,需要和主节点区分开)

· 添加:read_only=1(设定从节点为只读模式)

· 添加:relay_log=mysql-relay-bin(开启中继日志)

4.3.2 开启从节点mysql服务,连接mysql

启动命令为:

mysqldmysql -uroot -p******

4.3.3 查看从节点日志信息

(1)查看中继日志是否开启

(2)查看服务器相关信息

4.3.4 在从节点配置访问主节点的参数信息 添加 主节点主机,访问主节点的用户名及密码,主节点二进制文件信息。

命令:

change master to master_host='192.168.190.132',master_user='repluser',master_password='123456',master_log_file='mysql-bin.000023',master_log_pos=154;

此处的master_log_file和master_log_pos需要和主节点状态保持一致。

4.3.5 查看从节点的状态信息 因为没有启动 从节点的复制线程,I/O线程和SQL 线程都为NO.

使用start slave命令启动从节点的复制线程,再利用show slave status命令查看当前的从节点状态。

4.4 功能测试

1)在主节点创建数据库,并查看主节点二进制日志信息

create database DBAs;use DBAscreate table DBA_inf (name varchar(20),number int);insert into DBA_inf (name ,number) values ('baojun',001),('jianrong',002), ('shuyang',003),('yuanzheng',004), ('yvbin',005),('chicheng',006), ('yicong',007),('yeyi',008), ('yingliang',009),('yazhou',010);

查看主节点的状态,

2)在从节点查找二进制日志信息,并查看mydb数据库是否复制成功

最后在从节点上查看数据是否已经同步,命令:

select * from DBA_inf;

经过验证,证明主从复制同步成功!!!

五、错误排查总结

5.1 Connecting错误

操作过程中有时候出现如下所述错误:

排错思路如下:

1.二进制日志没有开启

2.IPTABLES 没有放开端口

3.对应的主机 IP地址写错了

实际操作:关闭主节点防火墙,重新开启从节点,即可连接上。

5.2 Slave_SQL_Running:NO

操作过程中还出现了如下所示的从节点的SQL线程运行错误

排错思路如下:

1. 查看是否使用了nat的网络结构到导致网络有问题,连接不上。

2. 有可能my.cnf有问题,配置文件

3. 授权的问题,replication slave和file权限是必须的。

实际情况,换工位后网络IP出现问题,连接不上,重新配置网络之后问题解决。

本文分享自微信公众号 - DBA随笔(gh_acc2bbc0d447)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-08-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 推荐系统数据集大列表

    今天给大家介绍一个github仓库,收集了非常多的推荐系统的数据集,非常的全面,非常的实用,做推荐系统相关的同学可以收藏一下。

    石晓文
  • 如何写一手快SQL

    博主负责的项目主要采用阿里云数据库MySQL,最近频繁出现慢SQL告警,执行时间最长的竟然高达5分钟。导出日志后分析,主要原因竟然是没有命中索引和没有分页处理。...

    用户4143945
  • ​深入了解分布式事务组件 Seata (一)

    分布式事务的问题,在微服务架构中一直是难题。单体应用实现本地事务即可,到了分布式环境,情况就变得复杂。一个请求可能涉及多个服务,上下游存在依赖关系,其中的一环失...

    aoho求索
  • Serverless 最佳实践之数据库的连接和查询

    在第一讲云函数的生命周期中,我们已经提到了在云函数 Mount 阶段创建数据库连接带来的两方面好处:

    朱峰
  • 「大型网站架构设计」—— 前言

    根据大型网站的特点,该架构能够解决大多数的技术问题。下面我们将这个架构图进行简单的分解。

    tomas家的小拨浪鼓
  • 江湖急诏令:腾讯数据库王者挑战赛赏金万两募英豪!

    导语 | 由腾讯云、腾讯云+社区、云+创业主办的腾讯数据库王者挑战赛开始啦!只需要花几分钟参加比赛免费将☟☟抱回家! MacBook/iPhone 11/Ai...

    腾讯数据库技术
  • HTTP缓存和浏览器的本地存储

    http请求做为影响前端性能极为重要的一环,因为请求受网络影响很大,如果网络很慢的情况下,页面很可能会空白很久。对于首次进入网站的用户可能要通过优化接口性能和接...

    用户5807183
  • Redis数据库详解

    在Redis中,我们在使用相关命令时实际上是在默认的数据库中执行的,因为在Redis中是有很多个数据库的,不同数据库与数据库之间数据是不同步的,那么在这一篇中,...

    吉林乌拉
  • 国产数据库部署初体验

    达梦数据库管理系统是达梦公司推出的具有完全自主知识产权的高性能数据库管理系统,简称DM。本次将进行DM8的开发版本的部署。

    July
  • 高频面试题:什么是B树?为啥文件索引要用B树而不用二叉查找树?

    小秋:树形结构例如想 B 树,B+ 树,二叉查找树都是有序的,所以查询效率很高,可以再 O(logn) 的时间复杂度查找到目标数据。

    乔戈里

扫码关注云+社区

领取腾讯云代金券