专栏首页中间件兴趣圈Canal binlog 日志管理器与GTID简介

Canal binlog 日志管理器与GTID简介

正如上文提到的那样,在 Canal Instance 启动的时候,首先会查询日志管理器中查找上一次的同步位点,如果没有查询到,则默认会从最新的位点开始同步,但如果每一次启动 Instance 都从最后开始同步,其数据完整性无法保证,正确的做法是在数据同步的过程中应该记录位点并持久化,重新启动后按照继续从上一次的位置继续同步,实现真正的增量同步。

本文就是来详细探讨 Canal 的几个日志管理器,并来探究一下 MySQL 的 GTID 机制。

1、Canal 位点管理(日志管理器)

1.1 类图

整个日志管理器由接口 CanalLogPositionManager 定义,主要定义两个方法:

  • LogPosition getLatestIndexBy(String destination) 根据 destination 获取同步位点,即在 Canal Instance 中同步进度是以源实例为最小维度的。
  • void persistLogPosition(String destination, LogPosition logPosition) 持久化同步位点。

Canal 中提供了7种位点管理机制,分别如下:

  • MemoryLogPositionManager 同步位点存储在内存中,即存放在 Map 中,通常用于测试或结合其他位点管理,用来提高性能。
  • ZooKeeperLogPositionManager 同步位点存储在 zookeeper 中,是主流的分布式存储方案。
  • MetaLogPositionManager Canal 中的元数据存储方式,即位点信息与元数据存放在一起。
  • MixedLogPositionManager 混合日志位点管理器,主要是内存与 Zookeeper 的混合方式,在存储位点时先存入内存,然后用线程池异步存储到 zookeeper 中。
  • FileMixedLogPositionManager 基于内存与本地文件的混合日志管理器,存储位点时首先存入内存,然后定时同步到文件中。
  • PeriodMixedLogPositionManager 带定时功能的基于内存与 zookeeper 的混合日志管理器,存储位点时先写入内存,然后定时同步到 zookeeper。
  • FailbackLogPositionManager 带 failback 机制的日志位点管理器,即可以创建准备两种日志管理器,例如在构建时可以将 ZooKeeperLogPositionManager 当为主管理器,基于 FileMixedLogPositionManager 当备用日志位点管理器,在写入日志位点时,尝试写入主日志管理器,如果抛出异常,则使用备用日志管理器;查询位点时先查主日志管理器,如果未查到,则查备用日志管理器。

1.2 日志管理器使用方法

由于 Canal 日志管理器的实现比较简单,这里就不一一去看源码了,那这里就重点介绍一下其使用方法。

CanalInstanceWithManager#initLogPositionManager从这里可以看到,Canal 提供了 indexMode 属性来指定使用哪种日志管理器,其可选项:

  • MEMORY 内存
  • ZOOKEEPER 基于zookeeper,使用该模式还需要通过 zkClusters 设置 zk 集群的地址。
  • MIXED 混合模式,基于内存+Zookeeper + Period,即定时存储到 zookeeper 中,使用的实现类为MixedLogPositionManager,默认为每隔1s持久化一次。
  • META 基于元数据的管理模式。
  • MEMORY_META_FAILBACK 基于内存与元数据的fallback,其中主日志管理器为 MEMORY。

在生产环境,通常建议使用 MIXED,基于内存与Zookeeper的混合模式。

2、MySQL GTID 扫盲

在 MySQL5.6.x 中引入了 GTID 机制,用于优化主从同步机制,本文不打算详细介绍 GTID 的方方面面,只是初步认识 GTID,方面在后续实现数据同步方面思考数据一致性如何保证等方案时具备必要的基础。

首先我们可以通过如下命令查看与gtid相关的属性。

在这里插入图片描述主要的变量的含义如下:

  • gtid_executed 当前MySQL实现已经执行过的事务。在开启GTID模块时每执行一个事务会产生一个全局唯一的事务ID。在每一台MySQL实例上执行的事务何止上亿,这个字段要存储所有已执行的的事务ID,怎么存储能节省空间就是一个需要解决的问题,稍后再进行展开说明。
  • gtid_executed_compression_period 在MySQL5.7版本专门引入了一个系统表:mysql.gtid_executed,gtid_executed_compression_period 参数就是设置每执行多个事务,对这个表进行压缩,默认值为1000。
  • gtid_mode 是否开启gtid模式。
  • gtid_purged 已不在 binlog 日志中的事务ID,Mysql 并不会永久存储 binlog 日志,而是通过 expire_logs_days 设置过期时间,单位为天,默认为10天。

一个GTID由两部分组成:server id uuid 与递增序号,两者之间用英文冒号隔开,例如上图中的:1f0eee4c-a66e-11ea-8999-00dbdfe417b8:1。

再来回到 gtid_executed 的存储问题上,为了减少存储空间,连续的gtid可以用进行合并,例如 1f0eee4c-a66e-11ea-8999-00dbdfe417b8:1-10,表示连续代表1-10个事务。

GTID的生成有自动递增与手动执行模式,自动递增模式可以在单个Server集群中保证有序,即GTID值越大,说明事务越后执行,但如果进行了人工干预,GTID就不是越大越先执行了,举例如下:

通过如下命令手动指定gtid:

set gtid_next='1f0eee4c-a66e-11ea-8999-00dbdfe417b8:10';
begin;
commit;
set gtid_next='AUTOMATIC';

故这里产生了另外一个事件,其gtid 为 10,下一条语句产生的GTID会是 11 还是 4 呢?

从这里看成,会先使用空洞,其binlog记录如下。

从这里看出,在后续避免数据顺序性方面,使用GTID并不是一个十全的方法,基于binlog的写入时间更为靠谱。

本文分享自微信公众号 - 中间件兴趣圈(dingwpmz_zjj),作者:丁威

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-07-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Canal 初次启动时如何定位同步位点(文末附流程图)

    本文将详细剖析Canal在初次启动时如何定位同步位点,行为思路先源码,再辅以流程图进行说明,并在总结部分使用思维导图进行总结,试图引发各位的讨论。

    丁威
  • Dubbo Filter机制概述

    从上文可知,在服务的调用或消费端发送请求命令中,Dubbo引入过滤器链机制来实现功能的包装(或扩展)。Dubbo很多功能,例如泛化调用、并发控制等都是基于Fil...

    丁威
  • 源码分析RateLimiter SmoothWarmingUp 实现原理(文末附流程图)

    上一篇详细介绍了 SmoothBursty 的实现原理,本文将介绍带有预热机制的限速器实现原理。

    丁威
  • 从零搭建Spring Boot脚手架(6):整合Redis作为缓存

    上一文我们整合了Mybatis Plus,今天我们会把缓存也集成进来。缓存是一个系统应用必备的一种功能,除了在减轻数据库的压力之外。还在存储一些短时效的数据场景...

    码农小胖哥
  • MySQL传统点位复制在线转为GTID模式复制

    MySQL传统点位复制在5.7版本前是主要的主从复制模式,而随着MySQL5.6版本引入GTID,并且MySQL5.7进行各方面的优化以后,在mySQL...

    July
  • three.js 着色器材质之变量(二)

    上一篇郭先生在例子中用到了着色器变量中的uniform和varying。这节继续结合例子将一下attribute变量,在使用过程中也发现由于three.js的版...

    郭先生的博客
  • 12.10 Nginx访问日志

    Nginx访问日志目录概要 日志格式 vim /usr/local/nginx/conf/nginx.conf //搜索log_format $remote...

    运维小白
  • 如何在Excel里加载第三方插件,让你的Excel功能更加强大!!!

    今天是小魔方的第三篇推送教程,要谈的话题是如何在Excel里加载第三方插件工具! 记得第一期的时候讲的如何调用开发工具,其实微软公司在开发office办公套件的...

    数据小磨坊
  • 查找----基于无序链表

    SuperHeroes
  • DeepMind最新AI程序使记忆内存化

    DeepMind科学家构建了一种计算机程序,该计算机程序以一种理论模型来提供从未来到过去的信号,就像人们从错误中吸取教训一样。例如不小心碰掉了桌子边缘的玻璃杯。...

    AiTechYun

扫码关注云+社区

领取腾讯云代金券