最近在搞数据实时同步的活，把Oracle的业务数据实时同步到StarRocks给分析用。用的Flink最新版本flink-1.20。

选型没什么好说的，Flink CDC 读 Oracle，写 StarRocks，方案很成熟。但云原生平台不带 Oracle CDC 的 Connector，得自己上传开源社区的 

 上去，这个倒还好，早有心理准备。

先说第一个，JDBC 驱动的问题。

 SQL 写好了，建好表，点启动，直接报错——说无法解析 Oracle 数据库版本，找不到 JDBC 驱动。测试环境我们是自建Flink，所以版本没问题。我当时想这还不简单，传个 ojdbc 上去呗。传了，还是报。换了个版本，报了另一个错，ClassNotFound。再换，又来个方法找不到。

来来回回试了好几个版本的组合才跑通。云官方也没个明确的依赖推荐列表，这东西就是靠试。最后用的ojdbc8-19.3.0.0 版本，后面建任务直接复制，不想再折腾第二遍。

用云 Flink 跑 Oracle CDC，驱动这块一定要提前留出时间来调试，别想着一把过。

然后第二个问题比较头疼，从 Savepoint 恢复任务的时候特别慢。

任务跑起来之后同步是没问题的，但有次需要重启一下，从 Savepoint 恢复，等了好几分钟才真正开始跑数据。一开始以为是偶发的，没在意，后来手动停了再重启，还是慢。试了几次都这样，那就不是运气问题了。

后来排查下来，原因是 Savepoint 的状态文件存在 OSS 上，恢复的时候要从远程把这些文件拉回来再重建状态引擎。全量快照阶段的状态文件挺大的，好几个 G，光下载就要好一会儿。

解决思路有两个。一个是开 Local Recovery，TaskManager 本地会保留一份状态副本，Failover 的时候读本地的，不走远程下载，速度很快。但这玩意有个坑——

它只对 Failover 和动态参数更新有效，手动停任务再启动它是不管的

另一个是用 GeminiStateBackend 的懒加载，这个对手动重启也管用。原理是状态文件异步下载，不用等全加载完作业就能跑起来。代价是刚起来那一阵性能会差一点，状态是边用边拉的。不过对于同步任务来说，起步慢一点总比卡在那里干等强。

最后在部署详情的运行参数配置里加了 Gemini 懒加载的参数，恢复时间确实压下来了，从好几分钟降到几十秒。

这两个方案的适用场景不一样，别搞混了。Local Recovery 管意外挂掉的情况，Gemini 懒加载管你主动重启的情况。

第三个坑比较隐蔽，VARCHAR2 的长度映射。

，我在 StarRocks 建表的时候直接写了 

跑了一段时间之后发现有些记录写入 StarRocks 报错了，提示字段超长。一开始还纳闷，100 对 100 怎么就不够了？

后来想明白了。Oracle 的 VARCHAR2 长度是按字节算的，StarRocks 的 VARCHAR 是按字符算的。一个中文字在 UTF-8 下占 3 个字节，所以这里面的换算关系不是 1:1。简单粗暴的做法就是：

映射的时候 StarRocks 那边长度直接乘 3，Oracle 的 VARCHAR2(100) 在 StarRocks 建 VARCHAR(300)

第四个坑是最狠的，归档日志过期。

有天任务突然挂了，报错信息里有个 

，大概意思是 CDC 上次记录的那个读取位点，对应的 Oracle 归档日志已经被清掉了。去问了下 DBA，归档日志只保留了 2 天。偏偏这次任务停了两天多才恢复，日志早就没了，LogMiner 没法接着读。

增量链路断了，没别的办法，只能清掉 Checkpoint 状态重新跑全量。数据量大，全量跑了好久，但那会儿也只能等着。

事后做了两件事。一是让 DBA 把归档保留策略从 2 天延到了 7 天：

CONFIGURE RETENTION POLICY TO RECOVERY WINDOW OF 7 DAYS;


二是给 CDC 任务加了 SCN 回退参数，留点容错空间：

'debezium.log.mining.scn.rewind.distance' = '50000'
'debezium.log.mining.scn.rewind.time.ms' = '300000'


这个坑的教训就是，用 CDC 读 Oracle，归档保留时间一定要比任务可能的最长中断时间长，不然断了就只能全量重来，很痛苦。但还是有个隐患，归档保留策略从2天延到了7天会导致服务器磁盘占用很大 后期一定要注意磁盘使用的增量问题否则会导致整个库异常。

搞完之后回头看，这些问题单个拿出来都不算什么大事，但堆在一起确实磨人。尤其是一些细节上的东西，像 Local Recovery 只管 Failover 不管手动重启、VARCHAR2 按字节不算字符、归档日志默认只留 2 天，这种事不看文档不踩坑根本不会注意。

就记这么多吧，下次再搞类似的同步任务直接翻这篇，省得重复踩坑。

Flink实时同步Oracle到StarRocks的几个踩坑经验分享

最近在搞数据实时同步的活，把Oracle的业务数据实时同步到StarRocks给分析用。用的云Flink最新版本 flink-1.20。

人工智能

Flink CDC同步Oracle至StarRocks实战：驱动版本需匹配ojdbc8-19.3.0.0；Savepoint恢复慢可配置Gemini懒加载或LocalRecovery；VARCHAR2长度按字节需乘3映射；归档日志保留期需延长至7天并设SCN回退参数，注意磁盘增量监控。

数据库

服务器

云原生

腾讯云数据库特惠，新用户首单0.5折起


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

Flink实时同步Oracle到StarRocks的几个踩坑经验分享

Flink实时同步Oracle到StarRocks的几个踩坑经验分享

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐