【数据挖掘】模型、工具、统计、挖掘与展现

1. 数据分析多层模型介绍

这个金字塔图像是数据分析的多层模型,从下往上一共有六层:

底下第一层称为Data Sources 元数据层。

比如说在生产线上,在生产的数据库里面,各种各样的数据,可能是银行的业务数据,也可能是电信运营商在交换机里面采集下来的数据等等,然后这些生产的数据通过ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,通过这个过程,我们可以把需要的数据放到数据仓库里面,那这个数据仓库就是多层模型中的第二层。

数据仓库主要是给我们需要存放的数据提供一个物理基础,我们对数据进行分析,原材料都放在这个数据仓库里面,这几年以来,除了数据仓库这个概念,还兴起了数据集市这个概念,数据集市其实就是部门级的数据仓库,规模比较小一点的数据仓库。

再上面一层是Data Exploration,这层主要做统计分析的事情,比如我们算均值、标准差、方差、排序、求最小\大值、中位数、众数等等,这些统计学比较常用的指标,另外还有些SQL查询语句,总的来说主要是做一些目标比较明确,计算方法比较清楚的事情。

第四层是Data Mining数据挖掘层,数据挖掘与数据分析(统计分析)有什么区别呢,数据分析往往是统计量和算法比较清楚,数据挖掘往往是目标不是很清楚,在实现目标的过程中采用什么方法不能确定,所以数据挖掘比数据分析难度要高很多。

第五层是数据展现层,把数据分析和数据挖掘得出来的结果通过数据展现层的图表、报表把他展现出来,也可以称为数据可视化。

最后把这些图表、报表交给决策者,以这个为基础做一些决策。

2. 数据分析工具简介

常用的数据分析工具,包括一些厂商的数据库产品,包括IBM的DB2、甲骨文的Oracle数据库。这些厂商的数据库本身带有一些统计分析的包,里面有些标准的功能可以做数据分析工作,但用这些自带的数据分析工具功能相对不够专业。主要反映在缺乏标准的统计函数,比如做一个线性回归模型,需要写一大堆SQL语句,甚至要写一个plsql程序才能完成。但是在专业的统计软件只需要写一个简单的函数就可以完成。

目前最主流的统计软件有R、SAS、SPSS,R是一个免费的开源软件。

SAS大概是历史最悠久的统计软件,是一个商业软件,在60年代就诞生,在70年代以后逐渐商业化,发展到现在SAS已经成为国际标准。

SPSS也是一个历史悠久的统计软件,SPSS一开始是一个仿真软件,后来演变成一个统计软件,目前已经发展成为一个数据挖掘软件,目前被IBM收购,变成IBM旗下的一个产品,在社会学研究院领域有很多的应用。

其他的还有一些软件,比如说水晶报表(Crystal Reports),在做BI和报表非常擅长,另外如UCINET也是在社会学比较常用的软件,它可以画群体的网络图,社交关系图非常擅长。

3. 常用统计方法

使用统计方法,有目的地对收集到的数据进行分析处理,并且解读分析结果:

常用算法

4. 数据挖掘

数据挖掘是以查找隐藏在数据中的信息为目标的技术,是应用算法从大型数据库中提取知识的过程,这些算法确定信息项之间的隐性关联,并且向用户显示这些关联。

数据挖掘思想来源:假设检验,模式识别,人工智能,机器学习

常见数据挖掘任务:关联分析,聚类分析,孤立点分析等等

例:啤酒与尿布的故事

5. 展现层:报表与图形

展现层在数据分析中是一个很重要的组成部分,在大家的心目中数据分析软件只是读数据和算数据,结果算出来就OK了。但其实结果算出来以后对于数据分析还远没有结束,还需要把结果展现出来,有些时候可能结果的展现比计算花的时间还要多。

下图是一个比较老土的报表。

如果那这种报表给老板看,那体验效果肯定很差,其实人的特点对数字的感觉不敏感,如果你那一大堆数字组成的报表给老板看,老板肯定不是很高兴。

人对图形会比较敏感,所以在统计学里面通常有比较标准的图,如饼图、柱形图(垂直和水平)、虚线图、水泡图、鱼骨图、箱线图等等。

下面是一张在地图上展现数据的展现形式

下图是关于使用安卓手机的数据展现

根据信息图显示,Android先生的头发有47%的可能是黑色的,戴眼镜的几率为37%,有36%的可能是北美人,30%的可能脸上长雀斑。71%的时 间会穿T恤,下身穿牛仔裤的时间占了62%。工作只占了38%,玩游戏却占了62%,平均每个月会用掉582MB的数据流量。这种图称为信息图,在数据分析这个行业里面,是数据展现工作的主要组成部分。

原文发布于微信公众号 - 数据科学与人工智能(DS_AI_shujuren)

原文发表时间:2016-01-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

【解析】数据挖掘工具的评判

要做数据挖掘,当然需要工具。但若靠传统的自我编程来实现,未免有些费时费力,而且其性能也不一定比商业工具来得强和稳定。目前,世界上已经有很多商业公司和研究机构开发...

29740
来自专栏牛客网

热乎的腾讯数据分析实习生面经

早上九点半,五星级酒店房间里一对一面试。 面试官是个笑起来很好看的南方美女,我猜应该是搞推荐算法的。 开场是常规,自我介绍,介绍简历中的项目经历。很失败,被批用...

38470
来自专栏大数据文摘

深度学习趋势:云计算or高性能计算

22330
来自专栏华章科技

数据驱动决策的13种思维

“数据驱动决策”,为了不让这句话成为空话,请先装备以下13种思想武器,相信将来你一定能用上!

7930
来自专栏CSDN技术头条

Facebook开源Torchnet,加速AI研究

近日,Facebook 发表了一篇学术论文和一篇博客帖子详述Torchnet——一个用于简化人工智能——深度学习的新型开源软件。 图片描述 深度学习涉及海量数据...

23090
来自专栏人工智能头条

深度学习:让电脑像人一样看世界

15630
来自专栏腾讯高校合作

2015年度CCF-腾讯犀牛鸟基金文智中文语义开放平台

文智中文语义开放平台。 腾讯搜索技术团队为需要做大数据挖掘和文本处理的研究者们提供有效的工具平台——文智中文语义开放平台。该平台能够满足研究者自然语言处理、文本...

353110
来自专栏AI研习社

北邮张庆恒:如何基于 rasa 搭建一个中文对话系统 (有源码视频)| 分享总结

对话系统是自然语言处理的一个热门话题,而自然语言理解则是对话系统的关键组成部分,现有的很多自然语言理解工具往往以服务的方式获取(Google 的 API.ai...

80660
来自专栏华章科技

收藏 | 来自微软大神的机器学习秘籍!

在这个人人都可能是学霸的全民学习时代,为什么人与人的差距依然很大?像优达学城这样的学习网站可以为每一个人想要学习的人带去技能和知识的补充,但要成为一个优秀的人才...

10930

用于入门的最佳机器学习资源

这是一个非常难写的文章,因为我希望它是真正有价值的。

293100

扫码关注云+社区

领取腾讯云代金券