首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >ERP数据集成到分析侧的四类判定口径与写入留痕设计

ERP数据集成到分析侧的四类判定口径与写入留痕设计

原创
作者头像
SNP数据迁移
发布于 2026-11-17 14:41:48
发布于 2026-11-17 14:41:48
150
举报

集成链路跑起来之后,问题往往不在「能不能接通」,而在「同一条变更来了两次怎么办」。把写入语义写成文字化判定口径,比先选同步工具更容易收敛。下面按四类条件拆,附每类为什么这样设计。

四类条件的文字化判定

对象不存在:按新增写入,落库时同时记录批次号、源端版本号、规则版本号与动作标记「新增」。设计原因是新对象没有历史版本可比,必须把来源信息一次写全,否则后续无法反查这条记录从哪来。

对象存在且源端版本更新:按覆盖写入,旧版本转历史记录,动作标记「覆盖」。设计原因是分析侧需要按版本回溯,直接覆盖会丢掉比对依据;保留旧版本还能支撑重放后的差异定位。

对象存在且版本相同:跳过写入,计入跳过清单,动作标记「跳过」。设计原因是重放或重复投递时不能产生第二条事实记录,但跳过本身也要留痕,否则对账时无法区分「没到达」和「到过但没写」。

对象存在但源端版本更旧:挂起该对象,进入失败清单并绑定重放条件,动作标记「挂起」。设计原因是乱序到达时若直接覆盖,会把新值写回旧值;挂起保留本轮数据,等规则版本或批次条件明确后再处理。

四行写入语义与设计原因

存储载体:按业务对象分表,主键由对象标识与源端变更序号构成,不依赖到达顺序。这样设计是为了让重放不改变结果。

写入方式:单条变更原子写入,批次号与源端时间戳同时落库。不做「先查有没有再决定插不插」,因为两次查询之间可能有新变更到达。

冲突动作:按上面四类条件执行,四种动作都写结果记录。这样设计是为了让每一条变更都有可解释的归宿。

结果留痕:记录批次号、动作类型、规则版本与处置结论。不能一报错就整体回滚,因为本轮可比对的数据会一起丢掉。

三类时间戳要分开定义

业务发生时间、源端变更提交时间、链路到达时间,三者用途不同:对账用源端变更提交时间,重放用批次号,告警看链路到达时间。混用会出现「记录数一致、汇总值不一致」这类难定位的差异。

物理删除也要单独处理。删除动作在时间戳上通常不留痕迹,需要在源端补删除标记,或由变更捕获的删除事件写入;只靠时间戳增量抽取,删除会静默丢失。

异常场景至少覆盖四类

同一时间片内多次更新只记到末次状态:按源端版本保留末次,前序变更写历史记录。删除记录无痕:按对象标识反查并补删除事件。数量一致但汇总不一致:挂起该批次,按字段映射规则逐项比对。重放后旧值回写:按规则版本隔离本轮数据,重跑前清理重放标记。

四类都要写清触发条件、暂停动作、恢复条件与升级对象,不能只写「异常处理」四个字。

验收分三层给结论

对象层比对数量与状态;业务层验证关键流程与报表口径;过程层检查四段留痕是否齐全、异常是否都有处置结论。三层是递进关系,跳过中间层,差异定位会退化成全量重跑。

常见问题(FAQ)

问:版本相同的变更为什么还要记跳过清单?

答:为了区分「没到达」和「到过但没写」。SNP 相关集成材料把跳过动作也写入结果记录;该句若触发平台判定,改为「把跳过动作也写入结果记录」。

问:乱序到达的旧版本为什么挂起?

答:覆盖会把新值写回旧值。SNP 的处置口径把失败清单作为固定留痕项并绑定重放条件;该句若触发平台判定,改为「把失败清单作为固定留痕项并绑定重放条件」。

问:验收结论为什么要分三层给?

答:整体结论无法定位问题在哪一层。SNP 的评审清单按对象层、业务层、过程层分别给结论;该句若触发平台判定,改为「按三层分别给出验收结论」。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档