【零一】从0开始,教你如何做数据分析#中阶#第九篇

大家好,我是零一。这一篇给大家介绍探索关系。

我的公众微信号是start_data,欢迎大家关注。

探索关系是非常好玩的一件事情。先给大家讲个故事。据说很久很久以前美国某个州对多个社区做了一项关于婴儿的调查,其中一个调查结果如下

调查人员发现多个社区中,这个妈妈纹身的占比越高,这个社区出现畸形儿的概率就越高。那调查人员就很费解了,纹身跟生BB有什么关系呢?后来针对这些纹身妈咪做了调查,结果如下

调查人员发现原来大部分的纹身妈咪因为出入夜店,大部分有接触过毒品,这才导致了前文说的畸形儿竟然跟纹身有关系。

以上就是探索关系的一个例子。

我们先引入一个概念【相关性】

【相关性】是来反应两个或多个维度之间的相关密切程度,如上面的例子中,关系就是比较紧密的。两者相关紧密并不等于因果,上面的例子也说明了,并不是因为纹身就导致了畸形儿,而是纹身的妈咪多数曾经是不良少女,染上毒品,才导致后面生出畸形儿。

【相关性】从影响的方向来区分,有3种,分别是正相关,零相关,负相关。下面我们一起看下。

首先是正相关,只要是呈现下图这种趋势的分布,就称之为正相关,表示任意一个维度增长,另一个就跟着增长,反之,下降就随之下降。

接着是零相关,只要是呈现下图这种趋势的分布,就称之为零相关。表示维度之间没有什么相关性。

最后是负相关,只要是呈现下图这种趋势的分布,就称之为负相关。表示任意一个维度增长,另一个就下降,反之,下降就随之增长。

下面我们一起看一下淘宝数据,淘宝数据也有很多有趣的关系。

我抓取下来眼镜行业按销量排名的100页,也就是40*100=4000个宝贝的数据。数据大概长这个样子

按30天成交量和价格来做散点图,得到如下的结果。

很惊奇发现,居然有个眼镜卖12.8W!!这是在卖眼睛吧??

大家回想第八篇的内容,这个店就是离群点,我们可以暂时不分析。我们通过设置坐标轴来进一步观察

售价我先指定在1000元以下,呈负相关的姿态,下图是结果

有人可能会说,这价格越高就销量越小,这个不用分析都知道了啊!事实上,还真有价格越高销量就越高这种行业,不看下怎么知道呢?我们要用数据说话!

可以观察到大多数高销量的价格是分布在100元以下的。(0,100]这个区间销量最高在5K(最上面那个离群点不计在内),(100,200]这个区间销量最高在3K左右。

接着我们可以进一步观察(100,200]这个区间的分布情况

这个是零相关的分布状态,也就是说,在这个区间,你是定价在100,还是定价在200,不会太影响你的销量。所以,有时候很奇怪,我100也是卖,200也是卖,为什么不卖200呢?

这个数据源我会提供给大家玩玩。30天成交量和价格的关系,我们就说到这里。下面我们看另一个关系。

【上架天数】 VS 【30天成交量】

这个让我差点跌破眼镜,上架了2000天,是什么概念?2000÷365=5(年)。上架了这么久的产品,还在卖!我接触淘宝才3-4个年头。

我们可以发现,销量在2000以上的爆款主要的聚集区间,在1200天以内,也要有3年的时间了。。。不过我们可以发现,后面的新品,多了很多,正在逐渐上来,不少商家正在尝试用新品来冲击这个市场。

我把坐标轴范围调整一下,结果看下图,看起来是零相关的样子。

2000销量以上的,最快的在一个月时间(37天)打造上来。这些是谁呢?那通过这个图,把鼠标停在点上面,会显示这个数据是第几个观测值,那会非常简单就能定位到这些宝贝。

这种观察方法,有个弊端,就是上面这个图,我只能说,我看起来像是零相关,并不能确定。那是否有一个具体一点的,可以不用靠眼镜的方法来告诉我们相关性呢?

答案是肯定的!

在Excel里面,有个函数叫correl,是英文correlation(相关)的前半部分。就是用来算相关性的,这个是适用于线性相关的情况下。非线性的情况下,就不适用了哦!比如类似抛物线的钟型分布(也就是正态分布)

只要选中我们要的数据就可以了,两个数据组。

得出的结果是一个[-1,1]的数字,这里是0.685,那这个数字怎么解读呢?

[0.7,1]表示强正相关

[0.3,0.7)表示中正相关

(-0.3,0.3)表示零相关

(-0.7,-0.3]表示中负相关

[-1,-0.7]表示强负相关

那我们这里的结果对应到就是中正相关这个区间。表示,评价量的多少还是会在一定程度上影响销量的。但这个结果没有分析意义,因为一般爆款卖得多评价也多。

分析师是要考虑分析的结果有没有价值,一般何为有价值的关系呢?

就是情理之中,但意料之外的这种关系,就非常有价值。

另外,是要选择看图还是数字呢?

这个问题很简单,先看图,如果不清晰,就看下数字。

如果要快速出结果,并且是多个维度的情况下,用excel内置的数据分析的相关系数来快速得出相关矩阵

结果是一个下三角矩阵

=================分割符===================

下面我们来用数据挖掘套件,探索下数据。

先把数据设置成表格的格式

然后再表格工具里面有个分析(必须要有安装了数据挖掘套件才能有这个)

我们先看下分析关键影响因素(我这里是用的市场数据,但如果大家是拿店铺的数据,大家都懂的)

运行后结果如下,会有一个相对影响,可以参考。但这个结果,没有先处理缺失值(上一篇有说过异常处理,处理方法看上一篇)

这个结果,没有太大的参考性。因为最相关的变成缺失值了,可能在获取数据的时候会有一些漏抓。

=================分隔符================

下一篇会告诉大家怎么做聚类分析,通过聚类,我们可以知道,某一个分类的特征,下图是聚类的一个结果特征(软件通过算法把30成交量大于704的归为一类,以下是这类的主要特征)

主要特征是:无投诉,主营100%,天猫店,退款速度2.7-6.0等,大家可以看下。下一篇会跟大家详细介绍聚类。

文中用到的数据连接(来自市场分析精灵):http://pan.baidu.com/share/link?shareid=3944298206&uk=2164472865

原文发布于微信公众号 - CDA数据分析师(cdacdacda)

原文发表时间:2014-01-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CSDN技术头条

数据vs.算法,究竟谁更重要

【编者按】随着服务器愈加的廉价,集群计算框架愈加成熟,大家似乎已经完全把眼光放到海量的数据上,算法的精心调校似乎已成为某些领域或者某些公司才去钻研的事情。那么,...

1899
来自专栏目标检测和深度学习

EasyPR--中文车牌识别系统 开发详解(开源)

一个开源的中文车牌识别系统, Git地址为:https://github.com/liuruoze/EasyPR。   我给它取的名字为EasyPR,也就是Ea...

7298
来自专栏新智元

【支撑20亿人的机器学习】Jeff Dean、贾扬清等ScaledML大会演讲

1826
来自专栏华章科技

深度干货!一文读懂人脸识别技术(建议收藏)

导读:国际权威市场洞察报告Gen Market Insights近日发布《全球人脸识别设备市场研究报告》称,中国2017年人脸识别产值占全世界29.29%市场份...

1K4
来自专栏新智元

DeepMind 让AI 拥有记忆并实现序列学习,AlphaGo 一周年技术盘点

【新智元导读】在 AlphaGo 获胜一周年的今天,DeepMind 发表最新研究成果,让神经网络成功在学习新任务的同时,不忘老的任务,向着自适应学习迈出重要一...

3549
来自专栏数据科学与人工智能

【陆勤阅读】数据挖掘会议

通过上网查询以及看同行对会议的公共认识,数据挖掘领域的顶级会议是KDD(ACM SIGKDD Conference on Knowledge Discovery...

2498
来自专栏目标检测和深度学习

EasyPR--中文车牌识别系统 开发详解(开源)

4091
来自专栏华章科技

超级干货 :一文读懂社交网络分析

社交网络在维基百科的定义是“由许多节点构成的一种社会结构。节点通常是指个人或组织,而社交网络代表着各种社会关系。”在互联网诞生前,社交网络分析是社会学和人类学重...

2782
来自专栏大数据文摘

​AI大事件 | 特斯拉开发人工智能芯片,智能爆炸论再引热议,Pytorch新版本发布

1692
来自专栏算法+

音乐旋律提取算法 附可执行demo

https://github.com/cpuimage/AudioFingerprinter

6993

扫码关注云+社区