前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >系统宕机读取binlog偏移量失效?

系统宕机读取binlog偏移量失效?

作者头像
用户9919783
发布2023-02-28 09:14:52
3390
发布2023-02-28 09:14:52
举报
文章被收录于专栏:后端从入门到精通

需求背景:

勇敢的打工人,新年前最后一天班,接到线上需求。最近把mysql大量数据迁移进入elasticsearch,一切正常,但出现一个bug,当系统停机发布时候,mysql数据库更改的数据,不会被系统监听到,导致数据不一致。

于是 勇敢的打工人 开始排查。

流程梳理分析原因:

查看代码后梳理流程:

1、代码是通过引入shyiko包来监听mysql的binlog日志,只监听关注的两张表。BinaryLogClient类包含mysql的各种信息。

2、既然是监听binlog所以必须保证binlog日志是开启状态,通过命令可以看到是开启状态。

3、 根据不同的策略处理增删查改。

4、重点偏移量来了,是从事件里的header获取到binlogFilename,binlogPosition。

5、每次监听到binlog日志变动,就会更新redis偏移量值,当下次初始化的时候,会从redis获取里面的偏移量值。

排查后发现,代码里并没有获取到binlogFilename,导致每次初始化没有从redis中获取到数据,于是把binlogFilename判断去掉,用position来完成功能。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-01-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 后端从入门到精通 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 SQL Server
腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档