专栏首页沃趣科技MySQL复制应用中继日志解析

MySQL复制应用中继日志解析

一、从一张图开始

从一个大神那边得到一张图片,SQL线程应用中继日志流程,下面就实验验证一下:(PS,我个人认为这张图binlog_format为ROW格式是正确的)

二、验证有PK表情况

那么我们去从库看看

数据是复制过来的,MySQL主从复制是正常的,那么我们为了验证MySQL复制SQL线程是居于刚才那张图的流程,有主键,就按主键更新匹配更新记录。

那么我们在从库修改一行数据,故意制造不一致。

这时候主从数据不一致了

那么,我们在主库更新一行数据。

我们来看一下从库状态,是不是主库的更新给复制过来了,见证奇迹的时候到了

三、验证没有索引的情况

主库创建表和插入记录

从库看看

我们在从库继续搞破坏,把name为lisi的age修改为33,这时候主从已经不一致了

那么我们还是在主库更新一下记录。把lisi的age修改成30,看看从库能不能更新过来

回到从库看看,数据没有更新过来,lisi的年龄还是33,这时候主从复制也是异常的,提示1032错误(找不到记录)

四、验证有唯一索引情况

测试方法都一样,下面步骤我都就贴结果了。(核心思想就是,从库先修改记录,做成主从数据不一致这种情况,然后主库再更新,看看从库有没有同步主库记录)

从库看看,能更新过来,而且主从复制状态是正常的

五、验证有主键和有普通索引情况

从库看看

六、验证只有普通索引情况

主库

从库

七、binlog格式是sbr,mbr格式的时候

(PS:因为我使用了GTID,所以找了另外两台机测试)

主库

从库看一下

删除索引,再测试一下

从库看一下

八、总结

1、SQL线程应用中继日志,在binlog_format是row格式的时候,确实是居于主键更新(Innodb表,如果没有显示指定主键,如果没有显式定义主键,则InnoDB会选择第一个不包含有NULL值的唯一索引作为主键索引),所以这张图是binlog_format=ROW格式是基本正确的。

2、使用自增列(INT/BIGINT类型)做主键,这样数据分布基本是有序的与B+数叶子节点分裂顺序一致,性能相对比较好;

3、形象的证明了RBR模式下,在有主键和唯一键的情况下MySQL复制SQL线程在应用中继日志的时候,锁范围比语句模式要少

参考资料

对比SBR、RBR两种模式的优缺点

SBR 的优点:

●历史悠久,技术成熟。

●binlog文件较小。

●binlog中包含了所有数据库更改信息,可以据此来审核数据库的安全等情况。

●binlog可以用于实时的还原,而不仅仅用于复制。

●主从版本可以不一样,从服务器版本可以比主服务器版本高。

SBR 的缺点:

●不是所有的UPDATE语句都能被复制,尤其是包含不确定操作的时候。

●调用具有不确定因素的 UDF 时复制也可能出问题

●使用以下函数的语句也无法被复制: * LOAD_FILE() * UUID() * USER() * FOUND_ROWS() * SYSDATE() (除非启动时启用了 --sysdate-is-now 选项)

●INSERT ... SELECT 会产生比 RBR 更多的行级锁

●复制需要进行全表扫描(WHERE 语句中没有使用到索引)的 UPDATE 时,需要比 RBR 请求更多的行级锁

●对于有 AUTO_INCREMENT 字段的 InnoDB表而言,INSERT 语句会阻塞其他 INSERT 语句

对于一些复杂的语句,在从服务器上的耗资源情况会更严重,而 RBR 模式下,只会对那个发生变化的记录产生影响

●存储函数(不是存储过程)在被调用的同时也会执行一次 NOW() 函数,这个可以说是坏事也可能是好事

●确定了的 UDF 也需要在从服务器上执行

●数据表必须几乎和主服务器保持一致才行,否则可能会导致复制出错

●执行复杂语句如果出错的话,会消耗更多资源

RBR 的优点:

●任何情况都可以被复制,这对复制来说是最安全可靠的

●和其他大多数数据库系统的复制技术一样

●多数情况下,从服务器上的表如果有主键的话,复制就会快了很多

●复制以下几种语句时的行锁更少: * INSERT ... SELECT * 包含 AUTO_INCREMENT 字段的 INSERT * 没有附带条件或者并没有修改很多记录的 UPDATE 或 DELETE 语句

●执行 INSERT,UPDATE,DELETE 语句时锁更少

●从服务器上采用多线程来执行复制成为可能

RBR 的缺点:

●binlog 大了很多

●复杂的回滚时 binlog 中会包含大量的数据

●主服务器上执行 UPDATE 语句时,所有发生变化的记录都会写到 binlog 中,而 SBR 只会写一次,这会导致频繁发生 binlog 的并发写问题

●UDF 产生的大 BLOB 值会导致复制变慢

●无法从 binlog 中看到都复制了写什么语句

●当在非事务表上执行一段堆积的SQL语句时,最好采用 SBR 模式,否则很容易导致主从服务器的数据不一致情况发生

另外,针对系统库 mysql 里面的表发生变化时的处理规则如下:

●如果是采用 INSERT,UPDATE,DELETE 直接操作表的情况,则日志格式根据 binlog_format 的设定而记录

●如果是采用 GRANT,REVOKE,SET PASSWORD 等管理语句来做的话,那么无论如何都采用 SBR 模式记录

注:采用 RBR 模式后,能解决很多原先出现的主键重复问题。

本文分享自微信公众号 - 沃趣科技(woqutech),作者:邱文辉

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-05-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 使用pg_stat_statement监控pgsql遇到的问题

    pg_stat_statements是PG中监控数据库活动的重要插件,通过它可以获得SQL的统计信息,例如该SQL被调用了多少次,返回了多少记录,在读写数据上...

    沃趣科技
  • 容器化 RDS:借助火焰图定位Kubernetes性能问题

    借助 CSI(Container Storage Interface),加上对 Kubenetes 核心代码的少量修改,可以 out-tree 的方式高效且低耦...

    沃趣科技
  • ASM 翻译系列第二十五弹:ASM 高级知识 When will my rebalance complete

    原作者:Bane Radulovic 译者: 魏兴华 审核: 魏兴华 DBGeeK社群联合出品 When will my rebalance com...

    沃趣科技
  • dubbo专题-深入浅出zookeeper订阅原理

    上周写完了服务暴露总结之后发现遗漏了一个很重要的点,在dubbo源码解析-zookeeper连接中我们对面试高频题

    java进阶架构师
  • Mybatis-Plus基础功能测试使用

    推荐阅读:分布式系统唯一id生成:https://www.cnblogs.com/haoxinyue/p/5208136.html

    乐心湖
  • Dubbo源码解析 —— Zookeeper 订阅

    前言 上周写完了服务暴露总结之后发现遗漏了一个很重要的点,在dubbo源码解析-zookeeper连接中我们对面试高频题 dubbo中zookeeper做注册...

    芋道源码
  • Linux 下配置 HugePages

        HugePages是通过使用大页内存来取代传统的4kb内存页面,使得管理虚拟地址数变少,加快了从虚拟地址到物理地址的映射以及通过摒弃内存页面的换入换出以...

    Leshami
  • 《放弃Mybatis使用tkMybatis》

    (5)、在application.yml配置文件,指定mapper.xml文件路径。(可省略)

    IT大咖说
  • 你无法检测到触摸屏

    无论你可能会怎么想,目前,在浏览器里可靠地检测当前的设备是否有一个触摸屏是不可能的。

    疯狂的技术宅
  • JDK13快来了,JDK8的这几点应该再看看!

    jdk8虽然出现很久了,但是可能我们还是有很多人并不太熟悉,本文主要就是介绍说明一些jdk8相关的内容。

    Java技术江湖

扫码关注云+社区

领取腾讯云代金券