中间件兴趣圈-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

中间件兴趣圈

《RocketMQ技术内幕》作者维护，关注Netty、Mycat、Dubbo、es-job、Rocketmq、es、mybatis等。

专栏成员

129

文章

262739

阅读量

102

订阅数

Canal binlog 日志管理器与GTID简介

zookeeper 数据库云数据库 SQL Server sql linux

正如上文提到的那样，在 Canal Instance 启动的时候，首先会查询日志管理器中查找上一次的同步位点，如果没有查询到，则默认会从最新的位点开始同步，但如果每一次启动 Instance 都从最后开始同步，其数据完整性无法保证，正确的做法是在数据同步的过程中应该记录位点并持久化，重新启动后按照继续从上一次的位置继续同步，实现真正的增量同步。

2020-07-28

2K0

Canal 初次启动时如何定位同步位点(文末附流程图)

unix 数据库云数据库 SQL Server sql

本文将详细剖析Canal在初次启动时如何定位同步位点，行为思路先源码，再辅以流程图进行说明，并在总结部分使用思维导图进行总结，试图引发各位的讨论。

2020-07-22

2.5K0

Canal 如何保证数据库库事务的一致性

缓存数据库 sql

关系型数据库讲究的是ACID 4个特性，故引入了数据库事务的概念，一个数据库事务中的多条SQL引发的多条数据变更要么全部成功，要么全部失败，即数据的一致性，那同样在数据同步的场景，在解析一个事务的 binlog 日志时，一次数据同步应该至少以事务为单位，一个事务内的所有 Event 应该作为一个批次提交到数据消费端，让消费端有能力一次同步一个事务中的数据，而不是一条一条变更日志的处理，这样容易造成数据不一致。

2020-07-14

1.7K0

探究 Canal EventParser 的设计与实现奥妙

云数据库 SQL Server 缓存数据库 sql 官方文档

首先我们先从官方文档来看 EventParser 的整体设计，其架构设计图如下所示：

2020-07-10

1.1K0

一文详解 Canal Instance 设计理念与定制开发思路

面向对象编程 spring 存储数据库 sql

从 Canal 系列的第一篇文章我们基本能了解到，Instance 是 Canal 数据同步的核心，在一个 Canal 实例中只有启动 Instace，才能实现数据的同步，那 Instance 到底是“何许人也”，本文将以源码为手段，试图揭开 Instance 的神秘面纱。

2020-06-23

1.8K0

源码分析ElasticJob任务错过机制(misfire)与幂等性

sql 数据库任务调度

任务在调度执行中，由于某种原因未执行完毕，下一次调度任务触发后，在同一个Job实例中，会出现两个线程处理同一个分片上的数据，这样就会造成两个线程可能处理相同的数据，因此Elastic-Job引入幂等机制来解决上述问题。再重申一次ElastciJob的分布式是数据的分布式，一个任务在多个Job实例上运行，每个Job实例处理该Job的部分数据（数据分片）。本文重点分析ElasticJob是如何做到如下两点的。

2019-06-10

1.7K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态