建立标准数据对照表

        这是一个真实数据仓库项目中的案例。某公司要建立一个员工数据仓库,需要从多个业务系统集成员工相关的信息。由于历史的原因,该公司现存的四个业务系统中都包含员工数据,这四个业务系统是HR、OA、考勤和绩效考核系统。这些系统是彼此独立的,有些是采购的商业软件,有些是公司自己开发的。每个系统中都有员工和组织机构表,存储员工编号、姓名、所在部门等属性。各个系统的员工数据并不一致。例如,员工入职或离职时,HR系统会更新员工数据,但OA系统的更新可能会滞后很长时间。项目的目标是建立一个全公司唯一的、一致的人员信息库。

我们的思路是利用一系列经过仔细定义的参照表或转换表取代那些所谓硬编码的转换程序。其优点是很明显的:转换功能动态化,并能适应多变的环境。对于建立在许多不同数据源之上的数据仓库来说,这是一项非常重要的基础工作。具体方案如下:

  • 建立标准码表用以辅助数据转换处理
  • 建立与标准值转化有关的函数或子程序
  • 建立非标准值与标准值对照的映像表,或者别名与标准名的对照表。

下面的问题是确定标准值的来源。从业务的角度看,HR系统的数据相对来说是最准确的,因为员工或组织机构的变化,最先反应到该系统的数据更新中。以HR系统中的员工表数据为标准是比较合适的选择。有了标准值后,还要建立一个映像表,把其它系统的员工数据和标准值对应起来。比方说有一个员工的编号在HR系统中为101,在其它三个系统中的编号分别是102、103、104,我们建立的映像表应该与下表类似。

DW条目名称

DW标准值

业务系统

数据来源

源值

员工编号

101

HR

HR库.表名.列名

101

员工编号

101

OA

OA库.表名.列名

102

员工编号

101

考勤

考勤库.表名.列名

103

员工编号

101

绩效

绩效库.表名.列名

104

        这张表建立在数据仓库的模式中,人员数据从各个系统抽取来以后,与标准值映像表关联,从而形成统一的标准数据。映像表被其它源数据引用,是数据一致性的关键,其维护应该与HR系统同步。因此在ETL过程中应该首先处理HR表和映像表。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杨建荣的学习笔记

SQL审核的落地的正确姿势

我们先来说下SQL审核的意义,要回答这个问题,就需要先解答下为什么要引入SQL审核,大多数情况下,人工审核SQL的代价太高;而且在规范落地和jian监督约束方面...

1823
来自专栏牛客网

分享经验热乎乎的秋招第一个产品offer去哪儿网

我是之前在校招投了去哪儿的产品经理,6号在宣讲会第一站点进行了线上笔试,当晚接到了通知第二天下午进行面试,精神抖擞,刷了一遍简历了解了一遍OTA就上阵了

972
来自专栏牛客网

CVTE面试经历(终面通过)

CVTE绝对是我面过的最奇怪的公司,之前没听说过,然后上网查了发现还是家上市公司规模还挺大,于是就投了。投的是19届Java开发实习生。 笔试 笔试没什么奇葩的...

11.1K8
来自专栏Java学习网

程序员如何提一个好问题

开始 我实际上是那种总是会问出愚蠢问题或“不好”问题的大信徒。我一直在问人们一些愚蠢并且完全可以通过谷歌搜索或搜索代码库解决的问题。大多数时候我都不愿意自己去搜...

2775
来自专栏腾讯NEXT学位

【福利】NEXT学院双十一返场活动,仅限一周!

? 今日话题: NEXT学院双十一返场活动,仅限一周! 今天,小N老师宣布第二件大事,往下看↓↓↓ 《Web前端工程师NEXT学位完整课程》 返!场!优!惠...

863
来自专栏牛客网

蘑菇街、华为、携程面经

昨天面试了3场,分别是蘑菇街、华为、携程,今天趁着还有点印象,整理一下面经,回馈牛友们 一.蘑菇街 蘑菇街没有走内推,官网投递的,预约的是中午12点电话面试,面...

4639
来自专栏牛客网

2019届校招实习生经历

一直以来都有做开发的想法,个人情况就是了解的东西挺多,但不是特别深入,也没有什么项目经验。面了6家互联网公司,全部凉凉。究其原因,首先是项目经验不足,加上基础(...

1504
来自专栏灯塔大数据

分析世界新闻:通过谷歌查询系统探索GDELT项目

用全球新闻报道去分析、观察乃至预测人类社会是一种什么样的情况? 由谷歌理念所倡导的GDELT项目旨在创建一个实时、开放的世界新媒体资料索引库,与全世界一同分享以...

4418
来自专栏牛客网

腾讯SNG的实习offer(多篇面经分享)

1322
来自专栏牛客网

网易云音乐测开面筋

你要做一个不动声色的大人了。不准情绪化,不准偷偷想念,不准回头看。去过自己另外的生活。你要听话,不是所有的鱼都会生活在同一片海里。——村上春树《舞!舞!舞!》

2063

扫码关注云+社区