MySQL复制应用中继日志解析

一、从一张图开始

从一个大神那边得到一张图片,SQL线程应用中继日志流程,下面就实验验证一下:(PS,我个人认为这张图binlog_format为ROW格式是正确的)

二、验证有PK表情况

那么我们去从库看看

数据是复制过来的,MySQL主从复制是正常的,那么我们为了验证MySQL复制SQL线程是居于刚才那张图的流程,有主键,就按主键更新匹配更新记录。

那么我们在从库修改一行数据,故意制造不一致。

这时候主从数据不一致了

那么,我们在主库更新一行数据。

我们来看一下从库状态,是不是主库的更新给复制过来了,见证奇迹的时候到了

三、验证没有索引的情况

主库创建表和插入记录

从库看看

我们在从库继续搞破坏,把name为lisi的age修改为33,这时候主从已经不一致了

那么我们还是在主库更新一下记录。把lisi的age修改成30,看看从库能不能更新过来

回到从库看看,数据没有更新过来,lisi的年龄还是33,这时候主从复制也是异常的,提示1032错误(找不到记录)

四、验证有唯一索引情况

测试方法都一样,下面步骤我都就贴结果了。(核心思想就是,从库先修改记录,做成主从数据不一致这种情况,然后主库再更新,看看从库有没有同步主库记录)

从库看看,能更新过来,而且主从复制状态是正常的

五、验证有主键和有普通索引情况

从库看看

六、验证只有普通索引情况

主库

从库

七、binlog格式是sbr,mbr格式的时候

(PS:因为我使用了GTID,所以找了另外两台机测试)

主库

从库看一下

删除索引,再测试一下

从库看一下

八、总结

1、SQL线程应用中继日志,在binlog_format是row格式的时候,确实是居于主键更新(Innodb表,如果没有显示指定主键,如果没有显式定义主键,则InnoDB会选择第一个不包含有NULL值的唯一索引作为主键索引),所以这张图是binlog_format=ROW格式是基本正确的。

2、使用自增列(INT/BIGINT类型)做主键,这样数据分布基本是有序的与B+数叶子节点分裂顺序一致,性能相对比较好;

3、形象的证明了RBR模式下,在有主键和唯一键的情况下MySQL复制SQL线程在应用中继日志的时候,锁范围比语句模式要少

参考资料

对比SBR、RBR两种模式的优缺点

SBR 的优点:

●历史悠久,技术成熟。

●binlog文件较小。

●binlog中包含了所有数据库更改信息,可以据此来审核数据库的安全等情况。

●binlog可以用于实时的还原,而不仅仅用于复制。

●主从版本可以不一样,从服务器版本可以比主服务器版本高。

SBR 的缺点:

●不是所有的UPDATE语句都能被复制,尤其是包含不确定操作的时候。

●调用具有不确定因素的 UDF 时复制也可能出问题

●使用以下函数的语句也无法被复制: * LOAD_FILE() * UUID() * USER() * FOUND_ROWS() * SYSDATE() (除非启动时启用了 --sysdate-is-now 选项)

●INSERT ... SELECT 会产生比 RBR 更多的行级锁

●复制需要进行全表扫描(WHERE 语句中没有使用到索引)的 UPDATE 时,需要比 RBR 请求更多的行级锁

●对于有 AUTO_INCREMENT 字段的 InnoDB表而言,INSERT 语句会阻塞其他 INSERT 语句

对于一些复杂的语句,在从服务器上的耗资源情况会更严重,而 RBR 模式下,只会对那个发生变化的记录产生影响

●存储函数(不是存储过程)在被调用的同时也会执行一次 NOW() 函数,这个可以说是坏事也可能是好事

●确定了的 UDF 也需要在从服务器上执行

●数据表必须几乎和主服务器保持一致才行,否则可能会导致复制出错

●执行复杂语句如果出错的话,会消耗更多资源

RBR 的优点:

●任何情况都可以被复制,这对复制来说是最安全可靠的

●和其他大多数数据库系统的复制技术一样

●多数情况下,从服务器上的表如果有主键的话,复制就会快了很多

●复制以下几种语句时的行锁更少: * INSERT ... SELECT * 包含 AUTO_INCREMENT 字段的 INSERT * 没有附带条件或者并没有修改很多记录的 UPDATE 或 DELETE 语句

●执行 INSERT,UPDATE,DELETE 语句时锁更少

●从服务器上采用多线程来执行复制成为可能

RBR 的缺点:

●binlog 大了很多

●复杂的回滚时 binlog 中会包含大量的数据

●主服务器上执行 UPDATE 语句时,所有发生变化的记录都会写到 binlog 中,而 SBR 只会写一次,这会导致频繁发生 binlog 的并发写问题

●UDF 产生的大 BLOB 值会导致复制变慢

●无法从 binlog 中看到都复制了写什么语句

●当在非事务表上执行一段堆积的SQL语句时,最好采用 SBR 模式,否则很容易导致主从服务器的数据不一致情况发生

另外,针对系统库 mysql 里面的表发生变化时的处理规则如下:

●如果是采用 INSERT,UPDATE,DELETE 直接操作表的情况,则日志格式根据 binlog_format 的设定而记录

●如果是采用 GRANT,REVOKE,SET PASSWORD 等管理语句来做的话,那么无论如何都采用 SBR 模式记录

注:采用 RBR 模式后,能解决很多原先出现的主键重复问题。

原文发布于微信公众号 - 沃趣科技(woqutech)

原文发表时间:2016-05-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏逸鹏说道

解决session阻塞的问题

简介 对于数据库运维人员来说创建session或者查询时产生问题是常规情况,下面介绍一种很有效且不借助第三方工具的方式来解决类似问题。 最近开始接触运维...

3556
来自专栏Netkiller

数据库进程间通信解决方案IPC

数据库进程间通信解决方案 数据库与其他第三方应用程序进程间通信解决方案 摘要 你是否想过当数据库中的数据发生变化的时候出发某种操作?但因数据无法与其他进程通信...

3213
来自专栏james大数据架构

微软官方提供的用于监控MS SQL Server运行状况的工具及SQL语句

Microsoft SQL Server 2005 提供了一些工具来监控数据库。方法之一是动态管理视图。动态管理视图 (DMV) 和动态管理函数 (DMF) 返...

2937
来自专栏Python

MySQL常见的库操作,表操作,数据操作集锦及一些注意事项

一 库操作(文件夹) 1 数据库命名规则 可以由字母、数字、下划线、@、#、$ 区分大小写 唯一性 不能使用关键字如 create select 不能单独使用数...

2589
来自专栏Spark学习技巧

phoenix二级索引

二级索引 二级索引是从主键访问数据的正交方式。Hbase中有一个按照字典排序的主键Rowkey作为单一的索引。不按照Rowkey去读取记录都要遍历整张表,然后按...

7649
来自专栏数据和云

深入内核:Oracle数据库里SELECT操作Hang解析

崔华,网名 dbsnake Oracle ACE Director,ACOUG 核心专家 编辑手记:感谢崔华授权我们独家转载其精品文章,也欢迎大家向“Oracl...

37410
来自专栏编程心路

语言小知识-MySQL数据库引擎

MySQL 作为全世界广受欢迎的数据库,被用于很多中小型的项目中,但是你对 MySQL 数据库的存储引擎了解多少呢?

1394
来自专栏Netkiller

数据库进程间通信解决方案

数据库进程间通信解决方案 数据库与其他第三方应用程序进程间通信解决方案 摘要 你是否想过当数据库中的数据发生变化的时候出发某种操作?但因数据无法与其他进程通信(...

3475
来自专栏蓝天

高性能高可用的分布式唯一ID服务——mooon-uniq-id

源码位置:https://github.com/eyjian/mooon/tree/master/application/uniq_id。

792
来自专栏Rgc

mysql数据库优化(四)-项目实战

在flask项目中,防止随着时间的流逝,数据库数据越来越多,导致接口访问数据库速度变慢。所以自己填充数据进行测试及 mysql优化

1583

扫码关注云+社区

领取腾讯云代金券