Canal的基本介绍及原理

Canal的介绍

Canal是基于Mysql二进制的高性能数据同步系统,Canal在阿里巴巴集团中被广泛使用,以提供可靠的低延迟增量数据管道（白话文:其实就是根据mysql的biglog日志,进行增量同步数据）

Canal的背景

早期，阿里巴巴B2B公司需要在美国和中国杭州之间同步服务器的数据。先前的数据库同步机制是基于trigger以获得增量更新的。从2010年开始，阿里巴巴集团开始使用数据集二进制日志获取增量更新并跨服务器同步数据，这催生了我们的增量订阅和使用服务（现已在阿里云中提供）并开始了一个新时代。

首先了解Canal的原理之前,我们先了解简单了解一下Mysql主从复制原理

1.所有的save、update、delete操作,都会进入主Mysql服务器,也就是Master节点 2.Master节点会生成一个BinLog二进制文件,每次操作Mysql数据库就会记录到二进制文件当中 3.Slave节点(从服务器),会订阅Master节点的BinLog日志,以增量备份的形式同步数据到Slave节点

Canal原理流程图

1.首先第一个步跟上面主从复制原理一样h 2.Canal会伪装成Mysql的Slave服务器,向Mysql的Master服务器传输dump协议 3.Master服务器接受到Dump请求后,开通推送BinLog日志给Slave服务器（也就是Canal服务端），解析BinLog对象(原始为Byte流) ,转成JSON格式 4.Cannal客户端,可以有两种方式来监听服务端(TCP协议/MQ),但是最好是通过MQ形式（目前支持KafKa,RocketMQ ）,发送JSON数据到Server端,消费者监听到消 息,消费即可（MQ集群需要考虑消息顺序消费性问题）