建立标准数据对照表

        这是一个真实数据仓库项目中的案例。某公司要建立一个员工数据仓库,需要从多个业务系统集成员工相关的信息。由于历史的原因,该公司现存的四个业务系统中都包含员工数据,这四个业务系统是HR、OA、考勤和绩效考核系统。这些系统是彼此独立的,有些是采购的商业软件,有些是公司自己开发的。每个系统中都有员工和组织机构表,存储员工编号、姓名、所在部门等属性。各个系统的员工数据并不一致。例如,员工入职或离职时,HR系统会更新员工数据,但OA系统的更新可能会滞后很长时间。项目的目标是建立一个全公司唯一的、一致的人员信息库。

我们的思路是利用一系列经过仔细定义的参照表或转换表取代那些所谓硬编码的转换程序。其优点是很明显的:转换功能动态化,并能适应多变的环境。对于建立在许多不同数据源之上的数据仓库来说,这是一项非常重要的基础工作。具体方案如下:

  • 建立标准码表用以辅助数据转换处理
  • 建立与标准值转化有关的函数或子程序
  • 建立非标准值与标准值对照的映像表,或者别名与标准名的对照表。

下面的问题是确定标准值的来源。从业务的角度看,HR系统的数据相对来说是最准确的,因为员工或组织机构的变化,最先反应到该系统的数据更新中。以HR系统中的员工表数据为标准是比较合适的选择。有了标准值后,还要建立一个映像表,把其它系统的员工数据和标准值对应起来。比方说有一个员工的编号在HR系统中为101,在其它三个系统中的编号分别是102、103、104,我们建立的映像表应该与下表类似。

DW条目名称

DW标准值

业务系统

数据来源

源值

员工编号

101

HR

HR库.表名.列名

101

员工编号

101

OA

OA库.表名.列名

102

员工编号

101

考勤

考勤库.表名.列名

103

员工编号

101

绩效

绩效库.表名.列名

104

        这张表建立在数据仓库的模式中,人员数据从各个系统抽取来以后,与标准值映像表关联,从而形成统一的标准数据。映像表被其它源数据引用,是数据一致性的关键,其维护应该与HR系统同步。因此在ETL过程中应该首先处理HR表和映像表。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏区块链技术专栏

EOSIO Dawn 4.0 发布

上周我们介绍了EOSIO Dawn 4.0,今天我们很自豪地为您带来EOSIO的下一个主要预发布。过去一周发生了很多事情!

45220
来自专栏资深Tester

刚入职的软件测试人员如何快速了解公司业务

2082
来自专栏数据和云

Oracle DBaaS服务三月推出

最近收到 Oracle Server Technologies 部门的邮件,邀请加入Oracle DBaaS服务队列。自去年OOW宣布将推出该平台以来,这是最新...

2575
来自专栏北京马哥教育

那些年我们刷的运维日常

那些年我们刷的运维日常 运维不易,且行且珍惜! 那些年,我们不仅维护了服务器。还锻炼了一副好身体(码代码的肯定打不过抗服务器的啦哈哈哈) ? ? ? ? ? ?...

3309
来自专栏Golang语言社区

简单实用的网游服务器架构 - GameRes游戏新闻网

简单实用的网游服务器架构 此文并不是聚润堂所在公司当前运营的网游游戏服务器架构,而是在看过了近十个商业网游的架构,在现阶段心目中规划的简单实用的网游服务器架...

3015
来自专栏大数据文摘

为什么MongoDB敢说“做以前你从未能做的事”

2507
来自专栏腾讯云数据库(TencentDB)

微信小游戏流水过亿的技术揭秘 腾讯云数据库MongoDB攻略篇

腾讯云已为多个爆款微信小游戏提供服务,腾讯云数据库团队在多年MongoDB运营&支持微信小游戏服务经验总结,MongoDB产品经理李晓慧在7月26日在厦门举行的...

1.1K57
来自专栏程序员互动联盟

【编程基础】 linux基础入门--linux为何物?

接触linux是在大二的时候,那时候迷上了嵌入式linux,把电脑换成了linux系统,学习linux基础知识,学习linux命令,学习shell,泡论坛,就这...

34514
来自专栏杨建荣的学习笔记

落地SQL审核的迭代思路

在近一年的工作里面,发现很多事情不是一蹴而就,一个核心思想就是迭代,简而言之,迭代的目标有两个主要的结果,一个是从0到1,另外一个是从1到99。对于很多运维系统...

690
来自专栏数据和云

2015 OOW:Oracle数据库的未来

2015年10月27日,Oracle Openworld第二天,旧金山。云和恩墨盖国强在现场为您带来第一手的数据库报道。 Openworld的会议是这样展开的 ...

2624

扫码关注云+社区