【工具】孙悟空告诉你:分析报告、统计分析和数据挖掘的区别

关于数据挖掘的作用,Berry and Linoff的定义尽管有些言过其实,但清晰的描述了数据挖掘的作用。“分析报告给你后见之明 (hindsight);统计分析给你先机 (foresight);数据挖掘给你洞察力 (insight)”。

举个例子说。

你看到孙悟空跟二郎神打仗,然后写了个分析报告,说孙悟空在柔韧性上优势明显,二郎神在力气上出类拔萃,所以刚开始不相上下;结果两个人跑到竹林里,在竹子上面打,孙悟空的优势发挥出来,所以孙悟空赢了。这叫分析报告。

孙悟空要跟二郎神打架了,有个赌徒找你预测。你做了个统计,发现两人斗争4567次,其中孙悟空赢3456次。另外,孙悟空斗牛魔王,胜率是89%,二郎神斗牛魔王胜率是71%。你得出趋势是孙悟空赢。因为你假设了这次胜利跟历史的关系,根据经验作了一个假设。这叫统计分析。

你什么都没做,让计算机自己做关联分析,自动找到了出身、教育、经验、单身四个因素。得出结论是孙悟空赢。计算机通过分析发现贫苦出身的孩子一般比皇亲国戚功夫练得刻苦;打架经验丰富的人因为擅长利用环境而机会更多;在都遇得到明师的情况下,贫苦出身的孩子功夫可能会高些;单身的人功夫总比同样环境非单身的高。孙悟空遇到的名师不亚于二郎神,而打架经验绝对丰富,并且单身,所以这次打头,孙悟空赢。这叫数据挖掘。

数据挖掘跟LOAP的区别在于它没有假设,让计算机找出这种背后的关系,而这种关系可能是你所想得到的,也可能是所想不到的。比如数据挖掘找出的结果发现在2亿条打斗记录中,姓孙的跟姓杨的打,总是姓孙的胜利,孙悟空姓孙,所以,悟空胜利。

用在现实中,我们举个例子来说,做OLAP分析,我们找找哪些人总是不及时向电信运营商缴钱,一般会分析收入低的人往往会缴费不及时。通过分析,发现不及时缴钱的穷人占71%。而数据挖掘则不同,它自己去分析原因。原因可能是,家住在五环以外的人,不及时缴钱。这些结论对推进工作有很深的价值,比如在五环外作市场调研,发现需要建立更多的合作渠道以方便缴费。这是数据挖掘的价值。

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2014-08-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序员互动联盟

一个Java程序员的年终总结

新的一年过去了,又到了该总结的时候。这一年可以说是很重要一年,很多事情,都阶段性的开花结果。 先是2月份,去了海辉,实在说,没有进去这前想的那么...

39360
来自专栏Java后端技术栈

大数据时代:我们是一朝天子,还是一世奴隶?

很多人还没有搞清楚什么是PC互联网的时候,移动互联网来了;还没有搞清楚移动互联网的时候,大数据时代又来了!

20420
来自专栏BestSDK

Xenoma推出手势追踪衬衫E-Skin,同时开放“皮肤”SDK

在虚拟现实(VR)的早期阶段,许多公司正在尝试如何使VR更加身临其境,从而俘获消费者的心。下个月,Xenoma将推出一项Kickstarter众筹活动,旨在为e...

31850
来自专栏phodal

程序员提高效率之自我驱动的秘诀

一年多以前,参加过公司的一个『Management 3.0』培训。遗憾的是,没学会怎么当管理者,倒是学会了怎么驱动自己去做更多的事。 需求与驱动力 人呐,主动做...

22590
来自专栏科技向令说

乐视全球首发120吋电视之王uMax120 用生态模式颠覆电影院

10月27日,乐视在中国北京举行“无化反 不生态”新品发布会,基于全球独创的开放闭环乐视生态系统,正式推出全球最大3D、4K电视——120英寸电视之王uMax1...

9620
来自专栏SAP梦心的SAP分享

带你走进SAP项目实施过程——立项(1)

到底谁会首先有上ERP的想法,可能是企业老板,也可能是总经理级别等高管。但不管是谁,在确定之前,按道理企业风控部、总经办或者信息部等相关部门都需要对ERP项目做...

19400
来自专栏Sign

微信小游戏数据分享2

小卜目前每天的新进在逐步上升,昨天的新进大概4k左右,留存掉到10%,大概和玩家年龄层发生变化有关。

11020
来自专栏Android先生

Android应届生在杭州的求职经历

2018年毕业于一个普通的二本院校,向大厂扔过几次简历,就跟打水漂一样,最终沉底,从上海离职到杭州,对于一个应届生来说是一次艰难的选择,更稳妥的方式应该是在实习...

8420
来自专栏AI科技大本营的专栏

AI一分钟 | 谷歌发布AI使用七原则;中国启动智能高铁自动驾驶试验,时速350公里

6 月 8 日消息,据国外媒体报道,谷歌 CEO Sundar Pichai 周四发布了一篇文章,阐述了谷歌人工智能研究方面的原则(principles),称不...

13650
来自专栏知晓程序

【晓头条】双 11 天猫京东交易额皆超千亿 / 腾讯大会首发微信大数据 / 武汉推首个无人警局小程序

在此次会议上,微信为我们展示了有关微信、公众号、小程序生态的大数据。这些数据究竟说明了什么?答案就在本期的晓头条中。

13530

扫码关注云+社区

领取腾讯云代金券