专栏首页PPV课数据科学社区秒懂数据统计、数据挖掘、大数据、OLAP的区别

秒懂数据统计、数据挖掘、大数据、OLAP的区别

这样理解,就简单多啦!

导读:在大数据领域里,经常会看到例如数据挖掘、OLAP、数据统计等等的专业词汇。如果仅仅从字面上,我们很难说清楚每个词汇的意义和区别。今天,我们就来通过一些大数据在高校应用的例子,来为大家说明白—数据挖掘、大数据、OLAP、数据统计的区别。

数据分析

数据分析是一个大的概念,理论上任何对数据进行计算、处理从而得出一些有意义的结论的过程,都叫数据分析。从数据本身的复杂程度、以及对数据进行处理的复杂度和深度来看,可以把数据分析分为以下4个层次:数据统计,OLAP,数据挖掘,大数据。

数据统计

数据统计是最基本、最传统的数据分析,自古有之。是指通过统计学方法对数据进行排序、筛选、运算、统计等处理,从而得出一些有意义的结论。

举例,对全年级学生按照平均成绩从高到低排序,前10%的学生可以获得申请研究生免试资格。

传统的查询和报表工具是告诉你数据库中有什么(What happened

OLAP

联机分析处理(On-Line Analytical Processing,OLAP)是指基于数据仓库的在线多维统计分析。它允许用户在线地从多个维度观察某个度量值,从而为决策提供支持。

举例,学校招生时要决定今年在江苏的招生指标,不能简单地参照去年的计划,而是要参考多个维度的数据积累。学校要在这些数据的支持下做出合理的决策。

OLAP更进一步告诉你下一步会怎么样(What next),如果我采取这样的措施又会怎么样(What if

数据挖掘

数据挖掘是指从海量数据中找到人们未知的、可能有用的、隐藏的规则,可以通过关联分析、聚类分析、时序分析等各种算法发现一些无法通过观察图表得出的深层次原因。

举例,学校发现高等数学等主干课的不及格率有逐年上升的趋势,一般认为是学习不认真所致,但做了很多工作效果并不明县,这时通过数据挖掘……

针对此可以采取有针对性的管理措施。

大数据

大数据是指用现有的计算机软硬件设施难以采集、存储、管理、分析和使用的超大规模的数据集。大数据具有规模大、种类杂、快速化、价值密度低等特点(4V特性)。大数据的“大”是一个相对概念,没有具体标准,如果一定要给一个标准,那么10-100TB通常称为大数据的门槛。

总结

从数据分析的角度来看,目前绝大多数学校的数据应用产品都还处在数据统计和报表分析的阶段,能够实现有效的OLAP分析与数据挖掘的还很少,而能够达到大数据应用阶段的非常少,至少还没有用过有效的大数据集。

来源: http://weibo.com/ttarticle/p/show?id=2309404045756905439775

数之联大数据

本文分享自微信公众号 - PPV课数据科学社区(ppvke123)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-11-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 大数据人才市场薪酬报告(2015一季度) 附PDF下载

    作者:cherrie 2015年3月,白宫经任命DJ Patil作为全国第一个首席数据科学家。这位前PayPal和eBay的执行官,来到白宫之后有了新的任务...

    小莹莹
  • 周末荐影 | 八部电影让你看懂大数据

    1 ? 《V客帝国》 在大数据的世界里,V并非指“仇杀”(Vendetta),而是著名的3V定律: Velocity速度——以接近实时的速度处理数据产生报告,而...

    小莹莹
  • 数据挖掘知识脉络与资源整理(十一)–数据质量分析

    ? ? 数据质量分析 1、 简介 传统意义上,数据分析分两类:EDA(Exploratory Data Analysis,探索性分析)和CDA(Confi...

    小莹莹
  • 【钱塘号专栏】一文读懂数据统计、数据挖掘、大数据、OLAP的区别

    在大数据领域里,经常会看到例如数据挖掘、OLAP、数据统计等等的专业词汇。如果仅仅从字面上,我们很难说清楚每个词汇的意义和区别。今天,我们就来通过一些大数据在高...

    钱塘数据
  • [喵咪大数据]初识大数据

    大数据互联网时代下大家耳熟能详的名词,但是我们离大数据有多远呢?从2011Hadoop1.0问世到现在,渐渐地大数据解决方案已经趋向成熟,笔者觉得也是时间来学习...

    喵了个咪233
  • D-News | 腾讯绝艺斩获UEC杯计算机围棋大赛冠军 Intel高价收购Mobileye

    大数据文摘
  • 科学家探索利用深度学习解决科学大数据问题

    据外媒报道,来自美国橡树岭国家实验室(Oak Ridge National Lab oratory)的研究团队在3年内从美国能源部(Department of ...

    人工智能快报
  • 数据挖掘与机器学习释义

    人工智能是目前炙手可热的领域,所有的互联网公司以及各路大迦们纷纷表态人工智能将是下一个时代的革命性技术。数据挖掘(Data Mining)和机器学习(Machi...

    探码科技
  • 数据对业务价值帮助的一些思考

    关于数据的价值,居士认为可以参考BI(商业智能)的定义。这里不简单地指做几张报表的工作,而是数据辅助决策。下面引用一下百度百科关于商业智能的定义。

    木东居士
  • 0基础学习大数据,你需要了解的学习路线和方向?

    现在大数据这么火,各行各业想转行大数据,那么问题来了,该往哪方面发展,哪方面最适合自己?

    用户2292346

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动