译文|数据建模有新招!

本文由CDA数据分析研究院翻译,译者:王晨光,转载必须获得本站、原作者、译者的同意,拒绝任何不表明译者及来源的转载!

在过去的三十年,ERP,CRM和Analytical等分析系统已经发展。但是这些系统储存数据的方式并没有变化。事实上,在这三十年,ERP,CRM和分析系统存储数据的方式没有任何改变。

一般来说,现代的ERP和CRM系统是基于一个已经用了30多年的数据模型,这个模型叫作OLTP,代表的是On Line转换程序。

一般来说,现代Analytical系统是基于一个已经用了30多年的数据模型,叫OLAP,代表的是On Line分析程序。

ERP和CRM系统所依赖的业务流程,几乎不考虑数据分析是如何进行的。正因为如此,这些系统不与现代分析系统兼容。

分析系统采取从ERP和CRM系统提取数据,并将数据转换成不同的格式(OLAP)进行处理。然而,已被转换成OLAP格式的数据与OLTP不兼容。

因此,眼下真正的问题是:

•ERP和CRM系统不支持分析处理或报告。

•分析处理需要数据被转换成一种不同的格式(或数据模型),这种格式的数据与ERP和CRM(OLTP)为基础的系统不兼容。

除了ERP,CRM和Analytical系统;有必要分析非结构化数据。非结构化数据是指缺乏组织的数据,它们通常有几个不同的来源。这些数据需要被转换成与OLTP和OLAP不同的格式,被称为大数据。

你也许会问,为什么数据需要被转换成不同的格式?我们已被告知,是基于系统的需要。如果是事务处理的系统,则需要数据被转换成OTLP格式。如果你需要Analytical的支持,那么它需要转换成OLAP数据。如果你需要分析的数据是非结构化的,那么就需要被转换成大数据格式。

我个人形容这为“数据文化”。我用 “文化”一词,因为那些设计这些系统的人仅仅在自己的专业范围内开展工作。你没看到OLTP数据建模师操作OLAP数据建模系统,反之亦然。从事大数据领域的人也是如此。

这样做的原因和影响就是我们现在生活的数据文化。比如数据需要有自己的来源。创建这些源系统模型数据的人就创造了OLTP格式。而做数据分析的人,可能就只专注于OLTP格式了。

而下一个希望能利用这些数据的人必需接受上面已经形成的数据格式,然后将它们转换成另外一种格式满足自己的需求。随着时间的推移,人们慢慢习惯和接受了这个过程,数据文化由此形成。

但是对于一个数据建模师而言,他需要的是一种方法来满足上面三种格式的数据的需求。因此数据建模师必须了解所有三种数据模型的需求:OLTP,OLAP和大数据。

在8年前,蜘蛛架构数据模型的建立提供一个更简单的方法,利用OLTP数据格式的优势,将OLTP数据格式转化为OLAP格式数据。在过去的八年中,这个模型已经经过了实践的检验:数据处理速度更快捷,占用储存空间较小,处理起来方便灵活。它不仅仅支持OLAP格式的文件,还支持OLTP和大数据。

原文发布于微信公众号 - CDA数据分析师(cdacdacda)

原文发表时间:2015-06-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序你好

数据库设计中的6个最佳实践步骤

如果设计得当,数据库是记录、存储、检索和比较数据的强大工具。然而,一个没有经过精心设计和目的的数据库不仅仅是无效的,它对那些使用它最多的人(开发人员)来说是一个...

1382
来自专栏章鱼的慢慢技术路

游戏服务器概述

(1)了解常见查找/排序算法的特点:利用算法来改善性能,胜于通过编译器选项、编程技巧;

5802
来自专栏北京马哥教育

大数据怎样帮助运维工程师实现无死角监控?

今天一大早就看到了一篇文章,叫【大数据对于运维的意义】。该文章基本上是从三个层面阐述的: 工程数据,譬如工单数量,SLA可用性,基础资源,故障率,报警统计 业务...

51011
来自专栏小俊博客

#优惠# 标准互联 – 25元/月 HyperV 2核 512M 10G 无限流量 2Mbps 贵州

2363
来自专栏织云平台团队的专栏

腾讯 SNG 监控数据的创新应用

本文将向大家分享SNG监控十年来变革背后的驱动因素和立体化的监控方案,最后给大家展示最新的智能监控的应用场景。

6.5K5
来自专栏陈树义

如何通过组件化提高开发效率?

在软件开发过程中,大到业务模块的划分,小到技术组件的开发,都属于组件化的思考范畴内。很多时候我们到网上搜索「组件化」关键词,都只会看到关于前端组件化的资料,而对...

3114
来自专栏我就是马云飞

该如何接手别人遗留下的代码?

在我们开始之前,你应该先了解一些事项。首先,请阅读这篇 Joel Spolsky 的著名文章,了解为什么永远不应该重写代码(https://www.joelon...

1183
来自专栏Java架构师学习

七年的资深架构师告诉你成为架构师的知识体系

架构师是一个充满挑战的职业,知识面的宽窄往往决定着一个架构师的架构能力 知识面的宽广对于一名出色的架构师来说是必不可少的技能,也许很多人对架构的理解还停留在设...

4604
来自专栏developerHaoz 的安卓之旅

如何有效报告 bug

这也是「技术支持」被视为一个可怕工作的原因。然而,并不是所有的 bug 报告都是让人不愉快的。我一直在没赚钱的时候维护开源软件,有时候会收到一些非常清晰的、有帮...

1142
来自专栏知晓程序

不想你的小程序被下架?收好这篇避坑指南 | 官方文档解读

1633

扫码关注云+社区

领取腾讯云代金券