大数据、数据分析、数据统计、数据挖掘、OLAP之间的差异

在大数据领域里,经常会看到例如数据挖掘、OLAP、数据分析等等的专业词汇。如果仅仅从字面上,比较难描述每个词汇的意义和区别。今天,我们就来通过一些大数据在高校应用的例子,来为大家说明白—数据挖掘、大数据、OLAP、数据统计之间的差异。

一、数据分析

数据分析是一个大的概念,理论上任何对数据进行计算、处理从而得出一些有意义的结论的过程,都叫数据分析。从数据本身的复杂程度、以及对数据进行处理的复杂度和深度来看,可以把数据分析分为以下4个层次:数据统计,OLAP,数据挖掘,大数据。

二、数据统计

数据统计是最基本、最传统的数据分析,自古有之。是指通过统计学方法对数据进行排序、筛选、运算、统计等处理,从而得出一些有意义的结论。

举例,对全年级学生按照平均成绩从高到低排序,前10%的学生可以获得申请研究生免试资格。

传统的查询和报表工具是告诉你数据库中有什么(What happened)

三、OLAP

联机分析处理(On-Line Analytical Processing,OLAP)是指基于数据仓库的在线多维统计分析。它允许用户在线地从多个维度观察某个度量值,从而为决策提供支持。

举例,学校招生时要决定今年在江苏的招生指标,不能简单地参照去年的计划,而是要参考多个维度的数据积累。学校要在这些数据的支持下做出合理的决策。

OLAP更进一步告诉你下一步会怎么样(What next),如果我采取这样的措施又会怎么样(What if)

四、数据挖掘

数据挖掘是指从海量数据中找到人们未知的、可能有用的、隐藏的规则,可以通过关联分析、聚类分析、时序分析等各种算法发现一些无法通过观察图表得出的深层次原因。

举例,学校发现高等数学等主干课的不及格率有逐年上升的趋势,一般认为是学习不认真所致,但做了很多工作效果并不明县,这时通过数据挖掘……

针对此可以采取有针对性的管理措施。

五、大数据

大数据是指用现有的计算机软硬件设施难以采集、存储、管理、分析和使用的超大规模的数据集。大数据具有规模大、种类杂、快速化、价值密度低等特点(4V特性)。大数据的“大”是一个相对概念,没有具体标准,如果一定要给一个标准,那么10-100TB通常称为大数据的门槛。

总结

从数据分析的角度来看,目前绝大多数学校的数据应用产品都还处在数据统计和报表分析的阶段,能够实现有效的OLAP分析与数据挖掘的还很少,而能够达到大数据应用阶段的非常少,至少还没有用过有效的大数据集。

点评:

我们不需要纠结所谓的“专业名词”,作为一个数据分析师,我们的目标是帮助业务更好的发展、减少决策的风险、提取重要的信息,所以业务的套路和理解才是我们的立足之本,数据分析毕竟是我们达成某种目标的工具,疗效才是对我们更深层次的验证。

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

专访 | 蚂蚁金服生物识别技术负责人陈继东:数据驱动人工智能引发行业变革

机器之心原创 作者:高静宜 「身份验证是整个互联网金融的基础,要做到从实名到实人,生物识别在这里起到了很重要的作用。」蚂蚁金服生物识别技术负责人、全球核身平台...

35213
来自专栏钱塘大数据

【钱塘号专栏】一文读懂数据统计、数据挖掘、大数据、OLAP的区别

在大数据领域里,经常会看到例如数据挖掘、OLAP、数据统计等等的专业词汇。如果仅仅从字面上,我们很难说清楚每个词汇的意义和区别。今天,我们就来通过一些大数据在高...

2994
来自专栏PPV课数据科学社区

【探讨】为什么数据分析师要用产品思维?

数据分析这词汇时髦的不得了,然而就像这些年所炒的各种概念一样,当冷静下来,请很多人解释数据分析到底是什么时,恐怕要有一个不错的答案很难。   比较常...

3385
来自专栏人工智能头条

人工智能安全:是营销炒作还是全新机会

1345
来自专栏PPV课数据科学社区

【PPT】腾讯社交网络的大数据建模框架探索报告

PPV课大数据 在10月24日2014中国计算机大会的重要活动之一 —-“大数据高峰论坛”,腾讯公司社交网络运营部专家研究员岳亚丁在论坛上作了题为“社交网络的大...

3153
来自专栏PPV课数据科学社区

数据挖掘:层次性和时髦性

在银行做了两年的数据分析和挖掘工作,较少接触互联网的应用场景,因此,一直都在思考一个问题,“互联网和金融,在数据挖掘上,究竟存在什么样的区别”。在对这个问题的摸...

3416
来自专栏DT数据侠

这个人工智能,能帮你从3050家P2P平台中挑出最不会跑路的

大数据不仅可以帮你看到城市顽疾,还可以做很多你想不到的事情。比如,互联网金融。来自感知城市数据科学研究院、交大OMNILab实验室的这个作品,就研究的是2015...

530
来自专栏钱塘大数据

【大咖说】英特尔首席工程师:大数据是上帝智能

本文作者:吴甘沙 全文3214字,建议阅读时间:5分钟 上期回顾:【大咖说】吴军:数据为王和机器智能的时代 一、大数据之道 我认为把一件事情讲清楚,就要从这五个...

3446
来自专栏PPV课数据科学社区

【数据分析】互联网和金融,在数据挖掘上究竟存在什么区别?

一、数据挖掘的层次 一直想整理下对数据挖掘不同层次的理解,这也是这两年多的时间里面,和很多金融领域、互联网做数据相关工作的小伙伴,聊天交流的一些整理和归纳。大概...

3569
来自专栏大数据挖掘DT机器学习

【解析】数据挖掘工具的评判

要做数据挖掘,当然需要工具。但若靠传统的自我编程来实现,未免有些费时费力,而且其性能也不一定比商业工具来得强和稳定。目前,世界上已经有很多商业公司和研究机构开发...

2674

扫码关注云+社区