数据建模之ODS层命名规范及质量规范

大家好，又见面了，我是你们的朋友全栈君。

命名规范

• 表命名规范表命名规则： {层次}{源系统表名}{保留位/delta与否}。
  • 增量数据：ods_{库名}_{表名}_{id}。
  • 全量数据：ods_{库名}_{表名}。
  • ODS ETL过程的临时表：tmp_{临时表所在过程的输出表}_{从0开始的序号}。
  • 按小时同步的增量表：ods_{库名}_{表名}_{ih}。
  • 按小时同步的全量表：ods_{库名}_{表名}_{hh}。

ps：如果库名可能重复，可使用编码来代替库名

• 字段命名规范
  • 字段默认使用源系统的字段名。
  • 字段名与关键字冲突时，在源字段名后加上col，即源字段名col。
• 同步任务命名规范
  • 任务名：和表名保持一致。

数据存储及生命周期管理规范

• 不可再生情况下，永久保存。
• 日志（数据量非常大，例如一天数据量大于100 GB）数据保留24个月。
• 自主设置是否保留历史月初数据。
• 自主设置是否保留特殊日期数据。

ODS镜像型全量表 按天分区

• 重要的业务表及需要保留历史的表视情况保存。
• ODS全量表的默认生命周期为2天，支持通过ds=max_pt(tablename)方式访问数据。

ODS增量表 按天分区

• 有对应全量表，最多保留最近14天分区数据。
• 无对应全量表，需要永久保留数据。

ODS ETL过程临时表 按天分区 最多保留最近7天分区。 DBSync非去重数据 按天分区 由应用通过中间层保留历史数据，默认ODS层不保留历史数据。

数据质量规范

• 每个ODS全量表必须配置唯一性字段标识。
• 每个ODS全量表必须有注释。
• 每个ODS全量表必须监控分区空数据。
• 仅有监控要求的ODS表才需要创建数据质量监控规则。
• 建议对重要表的重要枚举类型字段进行枚举值变化及枚举值分布监控。
• 建议对ODS表的数据量及数据记录数设置周同环比监控，如果周同环比无变化，表示源系统已迁移或下线。

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/189160.html原文链接：https://javaforall.cn