更新时间:2021-06-08 14:37
本文为您介绍ODS层设计规范。
数据表类型 | 存储方式 | 最长存储保留策略 |
---|---|---|
ODS流水型全量表 | 按天分区 | 不可再生情况下,永久保存。 日志(数据量非常大,例如一天数据量大于100 GB)数据保留24个月。 自主设置是否保留历史月初数据。 自主设置是否保留特殊日期数据。 |
ODS镜像型全量表 | 按天分区 | 重要的业务表及需要保留历史的表视情况保存。 ODS全量表的默认生命周期为2天,支持通过ds=max_pt(tablename)方式访问数据。 |
ODS增量表 | 按天分区 | 有对应全量表,最多保留最近14天分区数据。 无对应全量表,需要永久保留数据。 |
ODS ETL过程临时表 | 按天分区 | 最多保留最近7天分区。 |
DBSync非去重数据 | 按天分区 | 由应用通过中间层保留历史数据,默认ODS层不保留历史数据。 |
ODS镜像型全量表 按天分区
ds=max_pt(tablename)
方式访问数据。ODS增量表 按天分区
ODS ETL过程临时表 按天分区 最多保留最近7天分区。 DBSync非去重数据 按天分区 由应用通过中间层保留历史数据,默认ODS层不保留历史数据。
全量表不是做了全覆盖即可 –delete directory 而是每天一个最新的分区,这样可以查看历史变化情况
增量表是表名后面带时间。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/185455.html原文链接:https://javaforall.cn