专栏首页CDA数据分析师让Python猜猜你是否能约会成功

让Python猜猜你是否能约会成功

我是一个婚恋网站的数据分析师,新入职的第二天,接到老板的任务,让我预测来婚恋网站新注册的男生&女生是否会约会成功。

如何预测一个新来的男生是否会约会成功呢?这很简单,只需要调出一下数据库中之前注册网站的会员信息及跟踪情况,看看和这个新来的男生条件最接近的男生是否约会成功了,那么就可以大致预估新来的男生是否会约会成功。中国有句老话叫做“近朱者赤,近墨者黑”,正是这个道理。比如下图,假设我们将男生的条件划分为三个维度,颜值、背景和收入。蓝色点代表约会成功,灰色点代表未约会成功。红色点代表新来的男生,他和两个蓝色点,一个灰色点最接近,因此点约会成功的可能性是2/3。

KNN算法简介

上述思路所用到的数据挖掘算法为KNN算法, KNN(K Nearest Nighbor),K最邻域法属于惰性算法,其特点是不事先建立全局的判别公式和规则。当新数据需要分类的时候,根据每个样本和原有样本的距离,取最近K个样本点的众数(Y为分类变量)或者均值(Y为连续变量)作为新样本的预测值。实做KNN只需要考虑以下三件事情:

1. 数据的前处理

数据的属性有Scale的问题,比如收入和年龄的量纲单位不同,则不能简单的加总来计算距离,需要进行极值的正规化,将输入变量维度的数据都转换到【0,1】之间,这样才能进行距离的计算。计算公式如下:

2. 距离的计算

一般使用欧几里得距离,勾股定理大家都学过,计算两点之间的距离,不多说。

3. 预测结果的推估

预测过程中我们会同时输出预测的概率值,同时我们需要去了解几个指标的含义。

回应率(precision):

捕捉率(recall):

F指标(f1-score):F指标 同时考虑Precision & Recall

使用Python进行实做

此部分的思路如下:

1. 读入数据集

2. 描述性分析与探索性分析

3. KNN模型建立

4. 模型的效果评估

数据集描述:此数据集为取自某婚恋网站往期用户信息库,含100个观测,8个变量。

# 加载所需包

%matplotlib inline
import os
import numpy as np
from scipy import stats
import pandas as pd
import sklearn.model_selection as cross_validation  
import matplotlib.pyplot as plt
import seaborn as sns
import math
from scipy import stats,integrate
import statsmodels.api as sm
# 加载数据并查看前5行
orgData = pd.read_csv('date_data2.csv')
orgData.head()

我从数据库中挑选了收入、魅力值、资产、教育等级变量,并对收入、魅力值和资产进行了分类排序。

# 查看数据集的信息

orgData.info()

从上述信息可以看出数据集总共有100个观测,8个变量。其中浮点型2个,整型6个。还可以看出这个数据集占用了我电脑7k的内存。

# 对数值型变量做描述性统计分析

orgData.describe()

Python的语法就是这么简洁到令人发指。从上述信息我们可以观察到各变量的计数、最大值、最小值、平均值等信息。以income为例,平均值为9010元,中位数为7500元。我们猜想是收入被平均了,如何更直观的看到呢?很简单,我们画个直方图。

# 数据可视化探索

# 查看收入分布情况 直方图

sns.distplot(orgData['income'],fit=stats.norm);

果然,我们的收入被平均了。其他的数值型变量也可以照同样方法画画看。同时,我们想看看类别型的字段和目标变量的关系。

# 查看教育等级和是否约会成功 条形图

sns.barplot(x='educlass',y='Dated',data=orgData);

果然,教育等级越高的人约会成功的概率越高。这么多分类变量,我如何在一张图中呈现呢?很简单,设定面板数,这里我们分类的计数图。

# 查看各分类变量和目标变量关系

fig, (axis1,axis2,axis3,axis4) = plt.subplots(1,4,figsize=(15,5))
sns.countplot(x='Dated', hue="educlass", data=orgData, order=[1,0], ax=axis1)
sns.countplot(x='Dated', hue="income_rank", data=orgData, order=[1,0], ax=axis2)
sns.countplot(x='Dated', hue="attractive_rank", data=orgData, order=[1,0], ax=axis3)
sns.countplot(x='Dated', hue="assets_rank", data=orgData, order=[1,0], ax=axis4)

可以看出,教育等级,收入,魅力值,资产都和是否约会成功有密切关系。

说了这么多,下面我们开始用KNN建模,让机器告诉我们结果吧。

# 选取自变量和因变量

X = orgData.ix[:, :4]
Y = orgData[['Dated']]
X.head()

# 进行极值的标准化

from sklearn import preprocessing
min_max_scaler = preprocessing.MinMaxScaler()
X_scaled = min_max_scaler.fit_transform(X)
X_scaled[1:5]

此部分返回了自变量进行标准化之后的2~5行值。

#划分训练集和测试集

train_data, test_data, train_target, test_target = cross_validation.train_test_split(
X_scaled, Y, test_size=0.2, train_size=0.8, random_state=123)  

划分训练集和测试集,训练集用来训练模型,测试集用来测试模型,训练集样本和测试集样本量比例为8:2.同时设定随机种子数。

# 建模

from sklearn.neighbors import KNeighborsClassifier
model = KNeighborsClassifier(n_neighbors=3)  # 默认欧氏距离
model.fit(train_data, train_target.values.flatten())
test_est = model.predict(test_data)

我们首先从导入了KNN分类器,k值设置为3,然后用模型去训练训练集,并且用测试数据集来测试模型结果,输出到test_est对象中。

# 模型评估

import sklearn.metrics as metrics
print(metrics.confusion_matrix(test_target, test_est, labels=[0, 1])) # 混淆矩阵
print(metrics.classification_report(test_target, test_est))

可以看出,模型的命中率和回应率均值都达到了90%。F指标为0.9

好了,模型的结果还勉强满意,美滋滋,做个报告去和老板交差了。

【后话】当然,这里面只是用了一个简单的数据集去实操了一下KNN的做法,操作和语法都比较简单易用理解,同时遍历了一下我们数据挖掘的流程,相应的知识及后续的知识没有做过多的展开,比如前端的数据如何清洗,KNN中K值如何设定和交叉验证,使用朴素贝叶斯预测模型的准确率,特征选择,模型融合等。希望大家能有所收获。

~ From CDA学员

CDA LEVEL II-Python数据挖掘课程,10.14开课,本课程以案例为主线,结合开源Python工具,全面金融、电信、银行等行业的主要数据挖掘主题。而且注重业务与算法的深入结合,在轻松的氛围内体会算法的奇妙之处。

本文分享自微信公众号 - CDA数据分析师(cdacdacda),作者:CDA数据分析师

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-09-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 刚刚,Google AI 部门换帅,李飞飞宣布离职!

    事实上,李飞飞很少跟媒体合影,如果是名学生,那么她一定不假思索地与完成这位学生愿望。相比工业界做出的巨大成就而言,李飞飞在学界留下的印记同样不可磨灭,她被广泛认...

    CDA数据分析师
  • 业界 | 美媒称李飞飞或将离开谷歌,重返斯坦福

    据外媒 Business Insider 的消息,谷歌云首席科学家李飞飞因谷歌军事合同问题陷入困境。消息称泄露邮件显示李飞飞更担心谷歌的公众形象,而非谷歌军事合...

    CDA数据分析师
  • 我花了两年,从不懂Python变成了AI工程师

    有一位小哥,从不知道Python到找到AI工程的工作,用时两年。他的文章在网上获得了5000多条点赞。

    CDA数据分析师
  • Windows Phone应用 博客园阅读器

    今儿个平安夜,明天圣诞节,聚餐、飙歌、通宵玩,各种欢乐走起来!给WindowsPhone机友发个小应用。 最近学习实际开发WindowsPhone应用程序,第一...

    张善友
  • Linux登录那点事

    跨平台系列汇总:http://www.cnblogs.com/dunitian/p/4822808.html#linux 我们登录linux的时候基本上不太关注...

    逸鹏
  • TCB系列学习文章——云开发登录篇(九)

    CloudBase 提供跨平台的登录鉴权功能,您可以基于此为自己的应用构建用户体系,包括但不限于:

    F颜
  • Xshell 登录 AWS CentOS 出现“所选择的用户秘钥未在远程主机上注册“,最终解决办法!

     其实就是 登录用户名错了,是 root,不是centos 也不是 ec2-user !  Xshell 连接配置界面如下 ? 最重要是 登录授权配置 ?  最...

    庞小明
  • 新能力丨报告,邮箱登录已支持!

    小程序端、Web端、移动端......无论来自哪端的应用,想要正常运转,都离不开用户登录鉴权这一步骤。云开发作为国内领先的云原生一体化应用开发平台,为小程序、W...

    腾讯云开发TCB
  • 单点登录(SSO)的设计与实现

    SSO英文全称Single Sign On,单点登录。SSO是在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用系统。https://baike....

    KenTalk
  • python模拟登陆Github示例

    输入账号密码,打开开发者工具,在Network页勾选上Preserve Log(显示持续日志),点击登录,查看Session请求,找到其请求的URL与Form ...

    py3study

扫码关注云+社区

领取腾讯云代金券