前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【零一】从0开始,教你如何做数据分析#中阶#第九篇

【零一】从0开始,教你如何做数据分析#中阶#第九篇

作者头像
CDA数据分析师
发布2018-02-08 15:24:49
7760
发布2018-02-08 15:24:49
举报
文章被收录于专栏:CDA数据分析师

大家好,我是零一。这一篇给大家介绍探索关系。

我的公众微信号是start_data,欢迎大家关注。

探索关系是非常好玩的一件事情。先给大家讲个故事。据说很久很久以前美国某个州对多个社区做了一项关于婴儿的调查,其中一个调查结果如下

调查人员发现多个社区中,这个妈妈纹身的占比越高,这个社区出现畸形儿的概率就越高。那调查人员就很费解了,纹身跟生BB有什么关系呢?后来针对这些纹身妈咪做了调查,结果如下

调查人员发现原来大部分的纹身妈咪因为出入夜店,大部分有接触过毒品,这才导致了前文说的畸形儿竟然跟纹身有关系。

以上就是探索关系的一个例子。

我们先引入一个概念【相关性】

【相关性】是来反应两个或多个维度之间的相关密切程度,如上面的例子中,关系就是比较紧密的。两者相关紧密并不等于因果,上面的例子也说明了,并不是因为纹身就导致了畸形儿,而是纹身的妈咪多数曾经是不良少女,染上毒品,才导致后面生出畸形儿。

【相关性】从影响的方向来区分,有3种,分别是正相关,零相关,负相关。下面我们一起看下。

首先是正相关,只要是呈现下图这种趋势的分布,就称之为正相关,表示任意一个维度增长,另一个就跟着增长,反之,下降就随之下降。

接着是零相关,只要是呈现下图这种趋势的分布,就称之为零相关。表示维度之间没有什么相关性。

最后是负相关,只要是呈现下图这种趋势的分布,就称之为负相关。表示任意一个维度增长,另一个就下降,反之,下降就随之增长。

下面我们一起看一下淘宝数据,淘宝数据也有很多有趣的关系。

我抓取下来眼镜行业按销量排名的100页,也就是40*100=4000个宝贝的数据。数据大概长这个样子

按30天成交量和价格来做散点图,得到如下的结果。

很惊奇发现,居然有个眼镜卖12.8W!!这是在卖眼睛吧??

大家回想第八篇的内容,这个店就是离群点,我们可以暂时不分析。我们通过设置坐标轴来进一步观察

售价我先指定在1000元以下,呈负相关的姿态,下图是结果

有人可能会说,这价格越高就销量越小,这个不用分析都知道了啊!事实上,还真有价格越高销量就越高这种行业,不看下怎么知道呢?我们要用数据说话!

可以观察到大多数高销量的价格是分布在100元以下的。(0,100]这个区间销量最高在5K(最上面那个离群点不计在内),(100,200]这个区间销量最高在3K左右。

接着我们可以进一步观察(100,200]这个区间的分布情况

这个是零相关的分布状态,也就是说,在这个区间,你是定价在100,还是定价在200,不会太影响你的销量。所以,有时候很奇怪,我100也是卖,200也是卖,为什么不卖200呢?

这个数据源我会提供给大家玩玩。30天成交量和价格的关系,我们就说到这里。下面我们看另一个关系。

【上架天数】 VS 【30天成交量】

这个让我差点跌破眼镜,上架了2000天,是什么概念?2000÷365=5(年)。上架了这么久的产品,还在卖!我接触淘宝才3-4个年头。

我们可以发现,销量在2000以上的爆款主要的聚集区间,在1200天以内,也要有3年的时间了。。。不过我们可以发现,后面的新品,多了很多,正在逐渐上来,不少商家正在尝试用新品来冲击这个市场。

我把坐标轴范围调整一下,结果看下图,看起来是零相关的样子。

2000销量以上的,最快的在一个月时间(37天)打造上来。这些是谁呢?那通过这个图,把鼠标停在点上面,会显示这个数据是第几个观测值,那会非常简单就能定位到这些宝贝。

这种观察方法,有个弊端,就是上面这个图,我只能说,我看起来像是零相关,并不能确定。那是否有一个具体一点的,可以不用靠眼镜的方法来告诉我们相关性呢?

答案是肯定的!

在Excel里面,有个函数叫correl,是英文correlation(相关)的前半部分。就是用来算相关性的,这个是适用于线性相关的情况下。非线性的情况下,就不适用了哦!比如类似抛物线的钟型分布(也就是正态分布)

只要选中我们要的数据就可以了,两个数据组。

得出的结果是一个[-1,1]的数字,这里是0.685,那这个数字怎么解读呢?

[0.7,1]表示强正相关

[0.3,0.7)表示中正相关

(-0.3,0.3)表示零相关

(-0.7,-0.3]表示中负相关

[-1,-0.7]表示强负相关

那我们这里的结果对应到就是中正相关这个区间。表示,评价量的多少还是会在一定程度上影响销量的。但这个结果没有分析意义,因为一般爆款卖得多评价也多。

分析师是要考虑分析的结果有没有价值,一般何为有价值的关系呢?

就是情理之中,但意料之外的这种关系,就非常有价值。

另外,是要选择看图还是数字呢?

这个问题很简单,先看图,如果不清晰,就看下数字。

如果要快速出结果,并且是多个维度的情况下,用excel内置的数据分析的相关系数来快速得出相关矩阵

结果是一个下三角矩阵

=================分割符===================

下面我们来用数据挖掘套件,探索下数据。

先把数据设置成表格的格式

然后再表格工具里面有个分析(必须要有安装了数据挖掘套件才能有这个)

我们先看下分析关键影响因素(我这里是用的市场数据,但如果大家是拿店铺的数据,大家都懂的)

运行后结果如下,会有一个相对影响,可以参考。但这个结果,没有先处理缺失值(上一篇有说过异常处理,处理方法看上一篇)

这个结果,没有太大的参考性。因为最相关的变成缺失值了,可能在获取数据的时候会有一些漏抓。

=================分隔符================

下一篇会告诉大家怎么做聚类分析,通过聚类,我们可以知道,某一个分类的特征,下图是聚类的一个结果特征(软件通过算法把30成交量大于704的归为一类,以下是这类的主要特征)

主要特征是:无投诉,主营100%,天猫店,退款速度2.7-6.0等,大家可以看下。下一篇会跟大家详细介绍聚类。

文中用到的数据连接(来自市场分析精灵):http://pan.baidu.com/share/link?shareid=3944298206&uk=2164472865

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2014-01-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CDA数据分析师 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档