学习
实践
活动
专区
工具
TVP
写文章
专栏首页Java极客技术手把手告诉你如何监听 MySQL binlog 实现数据变化后的实时通知!

手把手告诉你如何监听 MySQL binlog 实现数据变化后的实时通知!

Hello 大家好,我是阿粉。不知道大家在日常的工作中有没有遇到这样的场景,很多时候业务数据有变更需要及时加载到缓存、ES 或者发送到消息队列中通知下游服务。

一般遇到这种情况下,在实时性要求不高的场景我们有两种处理模式,一种是写任务定时推送数据同步到缓存中,另一个是下游服务定时自动拉取。这两种模式都依赖服务自己的定时周期时间,很多时候不好设定具体要多久执行一次,定时时间太短在数据没有变化的时候会有很多无效的操作,如果定时时间太长可能很多时候数据的延迟会比较大,某些时候影响也不好。

那有没有一种比较好的方式可以解决这个问题呢?答案当然是肯定的。今天就给大家介绍一下 Canal,基于 MySQLbin log 日志来实时监听数据变化。

什么是 Canal

官方的解释是:canal,译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费

通过官方的解释我们看到,是针对 MySQL 数据库增量日志解析的,MySQL 的日志是通过 bin log 的形式存储的二进制文件,提供数据订阅和消费就是说提供对二进制文件数据的监听。当日志数据发生变化的时候就会被监听到,从而程序就可以实时获取到有变化的数据。拿到变化的数据后就可以更新进缓存,ES 或发送到消息队列中通知下游服务了。

原理

上面介绍了 Canal 的基本概念,现在我们看看 Canal是怎么实现的,我们都知道 MySQL 是支持主从同步的,而且 Slave 也是通过 bin log 日志的形式同步 master 实例数据的。所以 Canal 就巧妙的运用了这个原理,把自己模拟成一个 Slave,给 MySQLmaster 发送 dump 协议,当 master 接受到 dump 协议的时候就以为 Canal 是一个 Slave 就会推送 bin logCanal

使用方式

开启 MySQL 的binlog

MySQL 的安装阿粉这里就不演示了,网上的文章一大把,大家可以自己去研究安装,要是 macOS 的话,终端里面输入brew install mysql 坐等搞定。

安装完成过后我们看下是否开启了 bin log ,如果没有开启则修改 my.cnf 增加 log-bin=mysql-bin 即可开启。输入命令mysql> show variables like 'log_bin'; 从图中我们可以看到阿粉这里是开启了 bin log 日志的。

接下来我们创建一个 canal 的账号,用于 canal 使用。我们创建一个 canal的账号,同时密码也是 canal

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

安装 Canal

这里我们安装 1.1.5 的版本,可以直接 wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz 也可以在 GitHub 上面直接下载。

下载完解压后目录如图,我们需要修改配置文件,将账号密码以及 bin log 文件名配上

配置完成过后,通过 bin 目录下的脚本进行启动,并且通过日志我们可以看到启动成功。

服务端启动成功后,我们就需要使用客户端去获取数据了,这里我们可以参考 CanalGitHub 官网中提供的 example 样例去进行模拟。

这里有个坑大家要注意下,如果 MySQL 的版本是 8.0 以下应该没有这个问题,如果是 8.0 版本的,我们通过查看tail -f example.log 日志会发现如下异常Caused by: java.io.IOException: caching_sha2_password Auth failed

阿粉这里就遇到了,经过在官方 GitHub 上面的 issue 中,如果搜索到相关的错误信息 https://github.com/alibaba/canal/issues/1700,里面有大佬给了解决方案,在 MySQL 中执行如下命令即可解决

ALTER USER 'canal'@'%' IDENTIFIED BY 'canal' PASSWORD EXPIRE NEVER;
ALTER USER 'canal'@'%' IDENTIFIED WITH mysql_native_password BY 'canal';
FLUSH PRIVILEGES;

如果没有遇到这个问题的小伙伴就可以直接忽略,接下来我们通过官方源码中的 example 示例来测试功能。把源码下载下来后找到com.alibaba.otter.canal.example.SimpleCanalClientTest 类,正常来说不需要修改什么内容,如果密码有变化的话这里可以调整,然后直接运行 main 函数即可。这个时候 MySQL,Canal,以及我们的测试类都已经启动了,下面通过执行 SQL 来创建数据库和表以及插入相应的数据,观察控制台的输出情况。

数据变更

创建数据库

mysql> create database canal_test;
Query OK, 1 row affected (0.01 sec)
mysql> use canal_test;
Database changed
mysql> show tables;
Empty set (0.00 sec)

我们通过语句create database canal_test; 创建了数据库过后,可以看到控制有如下输出,已经监听到了 bin log 的变化了。

创建测试表

再执行如下语句创建数据表

CREATE TABLE `example` 
(
    `id` INT(11) NOT NULL
    ,`username` VARCHAR(32) DEFAULT NULL COMMENT '用户名称'
    ,` age` INT(11) DEFAULT 0 COMMENT '用户年龄'
    ,` sex` INT(11) DEFAULT 0 COMMENT '用户性别 0 男 1 女'
    ,PRIMARY KEY (`id`)
)
ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='用户信息表';

可以看到成功的监听到了数据表的创建,接下来我们再试试插入数据和更新数据

## 插入语句
INSERT INTO example VALUES(1,'张三', 18,0),(2,'李四', 19,0),(3,'王五', 20,1);

## 更新语句
update example set username = '张小三' where id = 1;

从上图中我们可以看到插入的数据以及更新的数据都被实时的监听到了。监听到数据过后,我们就可以根据事件类型以及相应的库和表名来进行过滤操作了。对了,我们可以通过配置 filter 来过滤需要监听的数据库和数据表或者字段,这个都是可以实现的,避免无用的数据变更带来的影响。

总结

今天的文章给大家分享了 Canal 的使用,感兴趣的小伙伴可以自己去试试,如果需要的话,可以在项目中用起来,会事半功倍。

文章分享自微信公众号:
Java极客技术

本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!

作者:鸭血粉丝
原始发表时间:2021-07-24
如有侵权,请联系 cloudcommunity@tencent.com 删除。
登录 后参与评论
0 条评论

相关文章

  • DM 中 relay log 性能优化实践丨TiDB 工具分享

    Relay log 类似 binary log,是指一组包含数据库变更事件的文件,加上相关的 index 和 mata 文件,具体细节参考 官方文档 。在 DM...

    PingCAP
  • 我是如何一步一步监控公司MySQL的每一个操作?

    canal是一款基于数据库增量日志解析,提供增量数据订阅与消费的框架,整个框架纯JAVA开发,目前仅支持Mysql和MariaDB(和mysql类似)。

    程序员小富
  • 一举拿下高可用与分布式协调系统设计!

    在上文中我们了解到, canal 可以通过订阅 binlog 日志来提供增量数据订阅和消费,通过这种方式可以实现数据库的实时备份,实时索引构建等

    kunge
  • 万字分享,我是如何一步一步监控公司MySQL的?

    在家远程办公第三周,快被手机上的消息搞的有些神经质了,生怕错过一条有用的信息,没办法形势如此,公司摇摇欲坠大家也都如履薄冰,毕竟这时候失业有点惨(穷怕了)。

    程序员小富
  • 缓存同步 Canal

    Canal 伪装成slave节点,监听master binary log的变化。将此信息发送到Canal客户端中。就完成了异步通知了!

    收心
  • 主从同步中的关键技术解析

    主从同步的整体思路不外乎“数据镜像(image) + 流水(binlog)”,但是仔细考虑,会有一些值得思考的细节问题,看看你是否考虑过?

    郝阳
  • ZooKeeper(二)

    即所谓的配置中心,就是发布者经数据发布到ZooKeeper的一个或一系列节点上,供订阅者进行数据订阅,进而达到动态的获取数据的目的,实现配置信息的集中式管理和数...

    小土豆Yuki
  • 基于CDC技术的ElasticSearch索引同步机制

    ElasticSearch作为一个基于Lucene的搜索引擎被广泛应用于各种应用系统,比如电商、新闻类、咨询类网站。在使用ElasticSearch开发应用的过...

    用户2781897
  • Mysql实时数据变更事件捕获kafka confluent之debezium

    如果你的后端应用数据存储使用的MySQL,项目中如果有这样的业务场景你会怎么做呢?

    XING辋
  • MySQL 是如何实现 ACID 中的 D 的?

    明显不会,磁盘IO太慢了,如果每个请求过来 MySQL 都要写磁盘,磁盘肯定扛不住。

    Java_老男孩
  • 浅谈CDC在微服务中的应用

    CDC(Change Data Capture)是一种通过监测数据变更(变更包括新增、修改、删除等)而对变更的数据进行进一步处理的一种设计模式,通常应用在数据仓...

    ThoughtWorks
  • clickhouse同步mysql数据_clickhouse查询

    大家好,我是架构君,一个会写代码吟诗的架构师。今天说一说clickhouse同步mysql数据_clickhouse查询,希望能够帮助大家进步!!!

    Java架构师必看
  • 面试官:深度不够,建议回去深挖。—— 你的回答,总绕来绕去?

    从刚面试的问题回答中,能看得出你用了不少拙力背了不少题。直接拿这些技术点问,你可以回答。但同样是这些技术点,我换个场景来问用到了什么技术,你就像从没有听说过一样...

    小傅哥
  • Archery审核平台之功能篇

    在工单详情可快速提交相同SQL内容到其他实例,可适用于test>beta>ga等多套环境维护的需求

    jackxiao
  • MySql主从复制

    在MySql的生产环境中,由于单台MySql不能满足高可用性需求,一般通过主从复制(Master-Slave)方式同步数据,再通过读写分离(MySql-Prox...

    春哥大魔王
  • Redis进阶学习09---缓存同步

    Canal [kə’næl],译意为水道/管道/沟渠,canal是阿里巴巴旗下的一款开源项目,基于Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。...

    大忽悠爱学习
  • 10分钟搭建MySQL Binlog分析+可视化方案

    日志服务最近在原有 30+ 种数据采集渠道 基础上,新增 MySQL Binlog、MySQL select 等数据库方案,仍然主打快捷、实时、稳定、所见即所得...

    数据和云

扫码关注腾讯云开发者

领取腾讯云代金券