专栏首页PPV课数据科学社区CDA LEVEL II 数据建模师培训学习笔记(一)软件安装

CDA LEVEL II 数据建模师培训学习笔记(一)软件安装

写在前面:此笔记是PPV课学员张梦根据李玉玺老师在CDA LEVEL II 数据建模师培训的上课内容整理而成的。

—————————作者说明—————————

CDA level 2 前4天笔记。

重点在操作和老师口述的无关内容。由于开始没安装成功EM,所以没有截图。

有讲义的笔记都记录在讲义上。复习参考讲义。

2015/9/20

—————————老师简介—————————

李御玺

国立中国台湾大学咨询工程博士

铭传大学咨询工程学系教授(2000~)

CDA协会高级会员=数据分析专家

铭传大学大数据研究中心主任

中华资料采矿协会理事

中国人民大学数据挖掘中心顾问

厦门大学数据挖掘中心顾问

SPSS、SAS、微软(Reporting service power view power map)

专长:数据挖掘、文本挖掘

MY DATA MINING IN TAIWAN

台新银行案例

2004年营销案:提案:139件;成案:103件;效益:10亿

中华航空公司案例

常旅客分群模型建置;高仓促销模型:怎么能让高舱等多人坐;华航精致旅游促销模型

中国东方航空公司

会员贡献度分析;会员乘机率分析;会员流失及挽留分析

特立和乐HOLA公司

客户贡献度分析;型录效益分析;客户流失及挽留

中国工商局

企业注销吊销模型;PEVC投资价值评估模型;12315消费者投诉与维权预防的模型

-中国台湾有联合征信中心,受到启发。为企业建立信用等级。

泥石流预测结合GIS系统

————————-以下为正文—————————–

LEVEL II 数据挖掘/大数据-软件安装

.SPSS

建议不要更改安装路径。建议使用英文版。分配内存会影响最大读入数据量。win8找不到延长使用的目录。–不但要显示文,还是设置

.SAS

更改EM语言:

建立一个专门存放SAS PROJECT的目录。

尝试修改时间;尝试以管理员身份运行

.SPSS基本使用

.数据集:银行评分卡

1.分析数据 分析字段:哪些有用,怎么用,为什么

2.读入

3.分类(type:IT人员给的数据很可能有错,十之八九,要特别确认)数值型有的需要改为nominal/flag

4.描述性统计画图(数值型用直方图/NOMINAL用distribution分布图)看

说明这个字段OK,有趋势性

.EM基本使用

新建PROJECT

新建LIBRARY

查看lib

数据导入-数据源

基本跟modeler的判断依据类似。

类别型超过8个就不好,所以就自己去想办法group

如果想导入CSV,用EG去转。

新建流程图

使用DMDB数据探索可以看到SPSS STAT才能看到的东西看DMDB result

skewness》0 右偏图在左边

Class variable

GRAPH EXPLORE

StatExplore chi-square Plot 卡方检定 Cramer’s V

worth 类别卡方数值方差 P log取-则越大越好,排序

使用帮助文档:

.MINING MODELS分类

.老师的分类法

1.描述性Descriptive data minding(unsupervised learning)

Association Rules关联规则

Cluster Analysis 聚类分析

Sequential Patterns序列型样

2.预测性Predictive data mining (supervised learning)

2.1 CLASSIFICATION 分类 ->预测数据所属的类别

Bayes Net 贝叶斯网络

Decision Tree 决策树

Neural Network 神经网络

Logistic Regression 逻辑回归

2.2 PREDICTION 预测

Decision Tree 决策树

Neural Network 神经网络

Linear Regression 线性回归

Time Series时间序列(听说LEVEL I 会讲)

.SAS的分类法

1.PATTERN DISCOVERY

1.1 CLUSTER ANALYSISI 聚类分析

1.2 Market BASKET ANALYSIS:

Association Rules关联规则

Sequential Patterns序列型样

2.Predictive Modeling

Decisions 决策:Classification

Rankings 排序:Credit Scoring;Decision

Estimates估计:Prediction

.建模目的指标

绩效的增益

Accuracy

Gain Chart

Lift Chart :Gain Chart 中计算Lift=比随机乱猜命中增加的倍数

坐标轴 DEPTH VS LIFT

Profit Chart: 转化成Profit给领导展示<- 成本矩阵

.介绍2个网站

www.kdnuggets.com

有别人发布的软件算法;

www.kaggle.com

比赛:老师曾参与Acquire valued shoppers challenge 有30万客户,3亿5千万数据。用JAVA写处理数据的程序,然后30万的数据用modeler处理就很容易。如果仅用modeler则每次处理输入读入时间25分钟。老师用的是本地电脑,不是服务器。服务器肯定会快一点。

以面积为评判标准。(GAIN CHART)

华硕库存预测,以绝对误差为评判依据。

有些公司会去找题目,看看是不是试用自己的公司->培养找题目的能力也很重要。

介绍几个案例的数据集(缺省)

下一节:CDA LEVEL II 数据建模师培训学习笔记(二)数据前处理

—————————小节分割线————————

在建模分析师中,数据挖掘(Data Mining)技术无疑是他们最强有力的核心竞争力。数据挖掘强调与现有信息系统的整合,以提供决策者做决策时所需的情报,或转化成经营智慧,以作为调整营运策略方针的辅助工具。以顾客关系管理(CRM)为例,数据挖掘是整个顾客关系管理的核心。其不但可以准确的定位目标市场,进行精准营销,还可以帮助业务人员了解客户深层需求,针对大量客户进行客制化,也就是所谓的一对一营销。本课程的目的就是要针对数据挖掘整套流程,根据CDA Level Ⅱ大纲标准,以金融、电信、电商和零售业为案例背景,结合SAS Enterprise Miner和SPSS Moderler深入讲授数据挖掘的主要算法。并将SAS语言和SQL进行有效的结合,讲授如何在实际工作中搭建数据挖掘环境,制定分类数据挖掘的标准流程,让学员胜任全方位的数据挖掘运用场景。

PPV课原创文章,转载请注明作者和原文链接!

1、回复“数据分析师”查看数据分析师系列文章 2、回复“案例”查看大数据案例系列文章 3、回复“征信”查看相关征信的系列文章 4、回复“可视化”查看可视化专题系列文章 5、回复“SPPS”查看SPSS系列文章 6、回复“答案”查看hadoop面试题题目及答案 7、回复“爱情”查看大数据与爱情的故事 8、回复“笑话”查看大数据系列笑话 9、回复“大数据1、大数据2、大数据3、大数据4”查看大数据历史机遇连载 PPV课大数据ID: ppvke123 (长按可复制)大数据人才的摇篮!专注大数据行业人才的培养。每日一课,大数据(EXCEL、SAS、SPSS、Hadoop、CDA)视频课程。大数据资讯,每日分享!数据咖—PPV课数据爱好者俱乐部!

本文分享自微信公众号 - PPV课数据科学社区(ppvke123)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2015-09-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【译文】数据科学家必须具备的9大能力

    【陆勤看点】如何认识和理解数据科学家?一种很好的方法就是查看数据科学家职位的描述,即数据科学家在公司中负责什么?数据科学家需要什么样职能要求?本文是一个数据科学...

    小莹莹
  • 【聚焦】2015年获得大数据顶尖职位必备的9项技能

    在大数据商品化之前, 利用大数据分析工具和技术来取得竞争优势已不再是秘密。2015年, 如果你还在职场上寻找大数据的相关工作, 那么, 这里介绍的9种技能,将帮...

    小莹莹
  • 涂子沛:中国文化缺乏数据因子

    人物简介 涂子沛,江西吉安人,生于1973年。本科毕业于华中科技大学计算机系,研究生分别就读于中山大学和卡内基梅隆大学。现居美国硅谷。2012年其著作《大...

    小莹莹
  • 一文读懂机器学习、数据科学、人工智能、深度学习和统计学之间的区别

    来源:机器之心 作者: Vincent Granville 编译: 机器之心 参与:吴攀 、李亚洲 校对:李君 ...

    数据派THU
  • 大数据测试——完整的软件测试初学者指南

    大数据测试,在当前的测试领域是一个相对比较新的领域,而且难度也非常大。大数据测试从某种意义来说和人工智能测试有点类似,测试数据的量比较大,而test oracl...

    Criss@陈磊
  • 【数据】数据预处理

    小编邀请您,先思考: 1 数据预处理包括哪些内容? 2 如何有效完成数据预处理? 数据的质量和包含的有用信息量是决定一个机器学习算法能够学多好的关键因素。因此,...

    陆勤_数据人网
  • 简明数据科学(1):啥啥啥?这都是啥?

    原文:Data Science Simplified Part 1: Principles and Process 译者:杨德杰 2006年,英国数学家、Tes...

    陆勤_数据人网
  • 75个每个人都应该知道的大数据术语

    在第一篇文章中介绍了以下术语:算法,分析,描述性分析,规定分析,预测分析,批处理,Cassandra,云计算,集群计算,黑暗数据,数据湖,数据挖掘,数据科学家,...

    首席架构师智库
  • 如何填报大数据相关专业? | Alfred数据室

    高考出分了,又是一年一度各位考生和家长手忙脚乱开始填报志愿的时候了。很多考生和家长纷纷咨询Alfred:大数据现在不是很火吗?大数据专业怎么样呀?应该填选择哪个...

    Alfred数据室
  • 业界 | 机器学习竞争其实是一场数据上的竞争

    人工智能的三大发展要素已经是老生常谈了。算法、算力和数据对机器学习的重要性和声望不亚于“谦哥”的喝酒、烫头和抽烟。

    大数据文摘

扫码关注云+社区

领取腾讯云代金券