首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

canal源码解析(2)—位点的实现

首先说一下我对canal中位点的理解。什么是位点?位点是 binlog事件在binlog文件中的位置。但是对于canal而言,canal server发送dump请求前需要确定mysql的同步位点,主要包括canal server启动,mysql主备切换,canal server主备切换,dump异常后重启等情况。 同时,在canal client不断从canal server读取数据的过程中, canal client需要告知 canal server自己消费成功的位点,这样当发生canal client崩溃或者canal server崩溃重启后,都会考虑是否按照原来消费成功的位点之后继续消费或dump。下面我将通过canal server dump前找mysql同步位点的过程分析我对canal中位点的理解。 对于HA模式的canal server,我们先看下有哪些位点管理器。

03

使用kettle来根据时间戳或者批次号来批量导入数据,达到增量的效果。

1、Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。下载图形化界面的zip包格式的,直接解压缩使用即可。安装部署模式这里不说了,自己可以根据自己的需求安装为单机模式或者集群模式。     Kettle的社区官网:https://community.hitachivantara.com/docs/DOC-1009855       Kettle的下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration/ kettle国内镜像下载:http://mirror.bit.edu.cn/pentaho/Data%20Integration/ 2、由于这里只是演示了如何配置通过时间戳和批次号增量的导入数据,所以具体的操作不再叙述,具体的使用自己可以根据需求来使用。

01
领券