DataTalk:ODS层的数据需要做数据清洗吗?

0x00 前言

本篇的主题是数据分层中的ODS的作用,关于数据分层可以参考本篇博客:如何优雅地设计数据分层

下面直接进入讨论的主题。

0x01 讨论

问题: ODS 有的公司说几乎不处理,有的说这一层要做第一次数据清洗,大家怎么看?

回答一: 我感觉基本的监控要做,然后字段类型,命名统一可以做,ip转地址也可以做。复杂的 不太容易做,数据源的接入不一定都可控。

回答二: 看数据的规整性吧。有的公司业务方数据很规整。ODS层只用做简单的砍字段即可,有的业务数据不规整比如埋点类的那么不做清洗就肯定不行了。有公司是从业务库直接到ODS,那么需要做备份, 有的是从业务库到汇总库再到ODS。那么汇总库就可以看作是备份了。

回答三: 个人觉得ODS层的数据还是需要清洗并存入到数据仓库比较合适。如果不清洗,是ETL任务的计算资源和计算时间的浪费。除非是有特殊需要,规定要原汁原味的“原始数据”。

0x02 补充

这个问题,从本质上来看,其实是和分层的设计以及公司的业务场景相关的。

先抛开公司的业务场景来看ODS的设计,我们其实是希望ODS的数据尽量“原汁原味”,但又相对干净。那么,这个尺度或者说标准怎么来把握?简单来看,我们会让ODS层的数据内容和粒度与原始数据一致,然后我们会做表命名统一、字段命名统一、数据落地监控等内容。

然后对于数据清洗,居士个人建议是尽量少做清洗,如果在这一层做清洗,建议只在几种情况下做清洗:

  1. 简单的数据标准化,比如表和字段命名
  2. 默认值填充,比如性别为空的都补0
  3. 清洗规则十分明确,比如说说字段拆解:接收到的json数据拆成多个明确字段

其余情况下不是不能做清洗,而是说尽量少做清洗,因为一旦对原始数据稍作破坏,以后追查数据的成本会十分巨大。

当我们明确ODS的职责后,再来看不同公司的ODS设计。如果说数据源很干净,那么直接拿来就可以,基本不用处理。如果说数据源很混乱,而且清洗的规则十分明确,不会出现返工的情况,那么就可以在入ODS之前做一部分的清洗。

0xFF 总结

感谢 rorovic 和 其他朋友的回答。感谢木东居士的整理和总结。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序人生 阅读快乐

HTML5实战

作为Web开发领域里发展最快的技术之一,HTML5凭借其动态特性及跨平台特性日益成为程序设计领域备受推崇的语言。作为一门新兴语言,HTML5的应用范畴远远不止移...

18120
来自专栏大数据文摘

手把手教你分析微信群聊记录,识别害群之马

1.1K80
来自专栏web前端教室

大前端?/前端开发职位的未来方向/

对于许多新人来说,他们最开始接触前端这行,都是从前端开发工资高啊,好找工作啊,入门门槛低,这些方面开始了解的。当他们开始学习前端一段时间之后,许多人不可避免的开...

21920
来自专栏无原型不设计

响应式网页设计指南

1、如何理解响应式设计(RWD) 响应式网页设计的概念最初是由Ethan Marcotte提出,从设计的角度引领我们思考:为什么一定要为每个用户分别做一套设...

37590
来自专栏一米软件

facebook营销工具

Facebook一直以来都是我们做外贸的一个主要流量来源,很多人不知道的是,我们在平时也可以借助第三工具来帮助我们进行营销。下面一米软件为大家整理的几款常用fa...

46160
来自专栏互联网数据官iCDO

渠道优化完全指南:如何最大化的获得转化效果

只有在对与用户交互的每个元素进行实验、深入分析并优化设计时,才能实现转化漏斗的最大化。

12550
来自专栏无原型不设计

原型设计建议规范(一)

现在各种各样的互联网产品层出不穷,但是设计水平着实叫人不敢恭维。其实一款产品的设计水平在原型设计阶段就几乎已经决定了。熊先生最近和几个产品设计的大神接触,通过...

38940
来自专栏无原型不设计

App设计的基本原则和规范

为了能在交互设计和用户体验上做出比竞品更优秀的移动APP产品,我们必须知道移动设计的基本原则。

18620
来自专栏SDNLAB

网络切片——5G前行的助推器

最近对5G网络切片比较感兴趣,查阅资料阅读文献,发现一篇很好的论文《Reshaping the mobile core network via function...

44380
来自专栏草根博客站长有话说

Typecho 下谷歌 AdSense 文章内嵌广告体验

昨天明月将本博客“文章页脚广告位”的广告更换为了谷歌 AdSense “文章内嵌广告”,本来是想用“匹配内容”的,可惜iMydl.tech目前还没有达到“匹配内...

28240

扫码关注云+社区

领取腾讯云代金券