基于微软案例数据库数据挖掘知识点总结(Microsoft 决策树分析算法)

随着大数据时代的到来,数据挖掘的重要性就变得显而易见,几种作为最低层的简单的数据挖掘算法,现在利用微软数据案例库做一个简要总结。

应用场景介绍

其实数据挖掘应用的场景无处不在,很多的环境都会应用到数据挖掘,之前我们没有应用是因为还没有学会利用数据,或者说还没有体会到数据的重要性,现在随着IT行业中大数据时代的到来,让我一起去拥抱大数据,闲言少叙,此处我们就列举一个最简单的场景,一个销售厂商根据以往的销售记录单,通过数据挖掘技术预测出一份可能会购买该厂商产品的客户名单,我相信这也是很多销售机构想要得到的数据,当然这其中还有许多数据可供挖掘,比如:各种商品之间的关联是否能带来联动销售(啤酒和尿不湿、商品货架商品摆放、网站导航商品布局等)、影响每一种商品的属性值等等吧,这些伴随和数据挖掘的过程都会形成报告。

技术准备

这里有几点技术储备需要提到

(1)我们利用微软提供的案例数据仓库(AdventureWorksDW2008R2),当然其实我们应用的也就是两张事实表,一张已有的历史购买自行车记录的历史表,当然包括购买自行车顾客的一些供挖掘的属性,另外一张就是我们将要挖掘的收集过来可能发生购买自行车的人员信息表,从这里面挖掘出可能会买自行车的人。

晒历史销售表结构:

包含一个主键记录、顾客的生日、姓名、Email、婚姻状况、是否有房子、是否有车、年龄、上班距离远近等属性情况,这后面还有一列是是否发生购买自行车,当然从三范式上讲这种设计方式是不符合OLTP的,但此处是OLAP,也不是规范的事实表,这种结构一般通过一个view就能拼凑出来,咱这里就不提这些基础技术了。

另外一张表:

同样是一张人员信息表,也是记录的一些人员的属性,当然这里不会和已经销售人员记录的信息一样,但会包含相同的属性集合,比如:生日、年龄、年收入等等,我们要做的就是从这种表里面找到会买自行车的人。

(2)vs数据挖掘工具、安装好数据库配置好服务,这个都懂,没啥可说的,但要实现这种目的我们会使用三种数据挖掘算法,稍作介绍

Microsoft 决策树:对于离散属性,该算法根据数据集中输入列之间的关系进行预测。它使用这些列的值或状态预测指定的可预测列的状态。具体地说,该算法标识与可预测列相关的输入列。

Microsoft 聚类分析:该算法使用迭代技术将数据集中的事例分组为包含类似特征的分类。在浏览数据、标识数据中的异常及创建预测时,这些分组十分有用。简单点就是找出相同一部分属性的种类。

Microsoft Naive Bayes:Microsoft Naive Bayes 算法是由 Microsoft SQL Server Analysis Services 提供的一种基于贝叶斯定理的分类算法,可用于预测性建模。

这些算法有很多底层算法作支撑,我们只需要记住他们的应用场景和不同算法所具有的特性即可。下面的分步骤分析过程我会总结每种算法能干什么,能够分析出什么。


下面我们进入主题,通过简单的过程配置我们来实现整个数据挖掘的过程,依次步骤如下

1、新建工程,配置数据源

这个没有什么可分析的,基于微软案例数据库建立数据连接,简单的数据配置,实例名和用户名和密码连接数据仓库即可

2、创建数据源视图

这里就是筛选出我们想要数据挖掘的数据表,可以选择的是表或者视图,我们这里要做的事很简单,其实就是把上面的两张表从数据库里连接出来,VS工具配置很简单,根据它的提示我们就可以很轻松的配置出数据视图。

这里有几个技巧可以浏览两张表数据,在所选表中右键选择“浏览数据”,可以查看里面的列,还能分析数据中所占比情况,可以采用类似于Excel的透视表、透视图查看,也可以通过图表工具,例如:

此步骤是为了让我们理解里面的表数据,通过分析数据可以先分析出数据表中可以供我们挖掘的数据列属性有哪些,也可以简要推测影响我们目标(购买自行车)这种行为可能影响的属性,比如:家里有汽车的、年龄大于60或者小于10岁的、上班距离跨越好几个城区的(比如从朝阳——海淀上班)、年收入百万的等等吧按照常理会买自行车的几率还是挺小的,下一步我们用挖掘算法来逐一验证我们基于经验的这些推测是否合理。

3、创建挖掘结构

这一步我们分步骤细一点,逐过程讲解

(1)在解决方案中“数据结构”中,右键选择新建数据挖掘,这里我们选择“从现有数据库或数据仓库”来定义数据挖掘结构

(2)点击下一步,选择一种算法,这里列出了几种我们比较常用的数据挖掘算法,我们选择“Microsoft 决策树”算法

(3)点击下一步,选择我们可以应用的数据源视图

(4)我们选择上面的“vTargetMail”表作为事例来进行挖掘,所谓的事例就是以前我们所存在的历史记录表,点击下一步

(5) 进入指定定性数据模块,显示图如下,这里面有几列比较重要,先看图片

这里面有几列需要我们自己配置,键列:这个就是我们的主键列了,vs能自己识别出来,然后就是输入列:这一列就是根据我们要预测的目标,手动勾选的状态值列,这里我们勾选了年龄、通勤距离、英国学历、英国职位、婚姻状况、家庭汽车数、家庭孩子总数、在家里孩子数、所在地区、年收入等我们认为会影响预测目标的值列,当然这里有时候我们自己的推断不一定能准,但VS同样根据数据给你推算出了可能影响的列供参考选择,这里我们点击“建议”按钮,会弹出如下窗口:

看到了嘛,可爱的vs已经将肯尼个影响的列给你建议出来了,这里的分数就是评估的应该的概率,年龄是影响购买车辆影响最大的因素、其次是家庭车辆、再次是家庭孩子总数、当然这些值也是采样获取的,点击输入,就会选中相应的列,这里我们的可预测列就选择:购买自行车列“BikeBuyer”,这里最前面的一列就是要显示的明细列,数据挖掘的结果提供明细钻取,显示明细的时候需要的列,我们可以在这里面选中。

到这一步其实我们可以简要的推断买不买自行车看来与年龄还是关系比较大的,嗯...老年人和儿童估计骑自行车的可能性不大,呵呵...当然这仅是推测,咱们接着往下挖掘。

(6)点击下一步,进入数据挖掘模型机构,这里面会显示出各个列里面的值类型和值状态,是连续值、还是离散型,可以点击检测推断

(7)点击下一步,会进入数据集两个比较重要的参数配置,一个就是计算模型数据集所占比,一个就是最大实例数的值,先看图,然我我解释含义

在vs中已经有说明了,解释的比较清楚,第一个值就是用于计算数据挖掘模型的值占比,剩下的值作为后面验证我们数据挖掘模型的正确性,简单点就是留一部分测试数据稍后我们那它来测试测试我们建立的数据挖掘模型是否正确。第二个值就是每个挖掘回归所占的最大事例总数,这里我们做一个限制。

(8)点击下一步,给这个数据挖掘模型起一个名字,然后勾选上允许钻取明细

至此我们的Microsoft决策树数据挖掘模型已经建立完毕,看看图

下一步就是分析我们的挖掘结果了,这一步最精彩,我们来逐步分析。


结果分析

在分析之前我们先在解决方案中右键部署该解决方案到本地Analysis Services数据库中。

在我们数据挖掘模型中有四个选项卡一个就是我们的挖掘结构,第二个就是挖掘模型中我们设置的输入列、预测列、键列等信息,没啥可说的看图

接着才是我们重点要分析的数据挖掘模型查看器,这里面会有我们挖掘出来的结果值,形成我们的分析报告等选项,先看看图:

整幅图片中,整个显示结果是一种树状结构图,从顶端依次展开的横向图片,从图例中我们就可以看到,其中红色的也就是值为1的为购买自行车的比例,蓝色的就是没购买自行车的比例,这里有个选项比较重要,就是背景,默认为全部值,也就是说整个图中包含所有的事实,因为我们的需求是要分析购买自行车的顾客的状态,所以我们选择值为1(会发生购买)的进行分析,当然如果需求比较特别,你也可以选择不购买自行车的顾客这部分群体的特征,这里我们选择为1的背景:

看看分析结果:

整体树种,颜色最深的为我们最期望得到的值,而每个方块所代表的就是一种状态值区间,每个方块又可以依次展开看其子节点状态,最靠近根部的方块所代表的的因为即为影响结果值最重要的因素,从上图中我们可以看到家庭中汽车的数量(Number Cars Owned)是决定是否购买自行车最重要的因素,而这种因素中汽车数量为0的购买自行车的概率最高,也就说最想买自行车,其次是有一辆汽车的顾客,我们接着分析:

将鼠标移动到Number Cars Owned为0 的方块中,可以查看明细:

可以看到该部分顾客购买自行车的概率为63.15%,这里面共有4006个事例,发生购买的为2530个,所以这部分顾客应该是厂商最喜欢的,也是他们将要重点挖掘的对象,原因你懂的。当然家里有一汽车的也有很多想买自行车的,我们也不能放弃,同样我们点开这个节点接着分析。

嘿嘿,从图中可以看到我们上面推测的年龄因素已经浮出水面了,家里没有车,然后年龄在45岁以下购买自行车的概率已经飙升到73.49%,有图有真相,45岁以下,然后还没有小汽车,在大米国应该也算是屌丝一级别了,买辆自行车骑骑也正常,同样我们接着分析。

紧接着,影响的第三层因素也开始冒泡了,那就是地域位置,看图中,不在北美位置的顾客购买几率更高,而这里面在家里的孩子为0的购买几率已经达到了92.50%,汗,厂商还等什么,遇到这种顾客你就让你的销售坐等业绩就可,咱们来分析一下这部分人群:家里没有车、年龄在45岁一下、不在北美地区、家里也没有孩子......我那个去,这部分顾客什么情况,一种是直接型的屌丝级别,一种是绝对有品位的高富帅(孩子已经成家)。好吧,如果销售面对的是这群客户,你要做的就是升职、加薪、赢取白富美了...

咱们再来分析另外一种家里有一个汽车的情况,先看图:

结果:年龄在37到53之间,通勤距离小于10Miles,家里孩子既不等于3也不等于4,然后年收入在58000$以上,这部分顾客购买的几率在74.83%左右。

这里我们可以通过查看依赖关系网络图,了解一下我所有的这些元素对购买自行车这种行为的影响:

通过拖动左侧的滑动条可以依次查看所有的因素对买自行车所造成的影响大小,下面最重要,这里为家庭轿车数(Number Cars Owned)、其次是年龄(Age)、再次是地区(Region)....

以上是对决策树算法所推测出的结果进行分析,我们下一步要做的就是要验证我们的分析结果正确率有多高,还会增加其它不同的算法作对比,然后在根据正确率最好的算法推测上面我们已有的顾客列表中找到购买自行车概率最高的那群人。限于篇幅,后面的文章中我们继续详细的分析这些事情,下面我晒几个结果图,供大家玩味:

数据挖掘准确性图表:

图中有我们剩下的那部分测试数据做出的验证图表,还有理想的最佳模型、最烂的随机预测模型,和他们的概率,当然这中间就是我们决策树预测的模型,这图表中的维度和值就不分析了,自己品味。

同样我们还可以根据我们的预测模型绘出利润图:

所谓的利润图,就是通过这种分析能给我们带来的利润,嗯,这个也是厂商关注的。

到这里还剩下最后一步那就是将上面我们遗留下的顾客信息表中找出那些可能购买自行车的顾客,也就是数据挖掘的最高产物,推测以后将要发生的事情。这一步我们留着下一篇介绍。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-08-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

数据也会说谎:常见的数据造假三种形态!

17810
来自专栏AI科技大本营的专栏

数据科学家线性规划入门指南

前言 生活之道在于优化。每个人拥有的资源和时间都是有限的,我们都想充分利用它们。从有效地利用个人时间到解决公司的供应链问题——处处都有用到优化。 优化还是一个有...

3697
来自专栏北京马哥教育

用Python分析支付宝轻定投收益--Python数学建模实例

免责声明 本人对金融理财一窍不通,本文纯属个人自娱自乐,如造成投资误导概不负责 另欢迎理财达人批评指正 前两天发现支付宝里面多了个轻定投的功能,作为一名缺钱缺...

36212
来自专栏PPV课数据科学社区

“数据说谎”常见的3类形态

日常生活工作中,处处都会与数据打交道,但你知道数据是会“说谎”的,即你看到的数据结果并不是事实。本文介绍一些常见的说谎场景以及如何避免。 第一种图表欺骗 图表通...

2475
来自专栏CDA数据分析师

译文 | 量化投资教程:投资组合优化与R实践

本文由CDA作者库成员HarryZhu翻译,并授权发布。 CDA作者库凝聚原创力量,只做更有价值的分享。 ? Harry Zhu,擅长用Python和R进行数据...

1988
来自专栏量子位

众筹项目能否成功?用机器学习预测可以早知道

安妮 编译自 Shrikar Archak 量子位出品 | 公众号 QbitAI Kickstarter是一家美国的众筹平台。自2009年成立至今,已经有36万...

3375
来自专栏量化投资与机器学习

【Matlab量化投资】基于神经网络的利率债16国开10收益率预测模型

以往大家接触的量化投资与机器学习在股票和期货上运用的较多,然而大家却忽略了一个重要的金融市场,那就是债券市场。今天小编就告诉大家机器学习在债券市场上的运用。在机...

2169
来自专栏牛客网

2018年5月份找实习经历(计算机视觉与深度学习岗)

1583
来自专栏PPV课数据科学社区

【笔记】CDA LEVEL II 数据建模师培训学习笔记(一)软件安装

? 写在前面:此笔记是PPV课学员张梦根据李玉玺老师在CDA LEVEL II 数据建模师培训的上课内容整理而成的。 ———————————–作者说明——...

30610
来自专栏机器学习之旅

应用:深度学习下的电商商品推荐1.常见算法套路2.item2vec的工程引入3.python代码实现

电商行业中,对于用户的商品推荐一直是一个非常热门而且重要的话题,有很多比较成熟的方法,但是也各有利弊,大致如下:

612

扫描关注云+社区