浅谈数据处理中的相关分析

大数据的发展经历了从因果分析到相关分析的转变。宏观上来讲,如果两个事务存在某种统计学意义上的依赖性就称两者具有相关性。这里我们就简单聊聊各种相关分析的方法。

1 先以电商中的商品推荐为例,来看看最基本的相关分析方法:

我们经常会用到的比如计算两个商品的相似度,或计算两个用户之间的相似度,如下图所示,是基于商品的购买行为,来计算两个商品之间的相似程度。我们先基于此例来说明。这里每个商品可以表示成用户购买行为的特征向量,其中1表示此用户购买,0表示此用户未购买。

设商品a的特征向量为向量A, 商品b的特征向量为向量B,那么常用的计算相关性的方法有以下:

Jaccard相关是基于计算集合之间的相似度方法,而Cosine和Pearson都属于积差相关的范畴。通过简单对比,我们看得出A和B的Pearson相关系数就是向量A和B归一化后再计算Cosine相关系数的结果。

2 等级相关分析

如果在某些情况下,我们不需要顾及计算向量中值的相对大小,那么还可以计算等级相关性系数,如Spearman等级相关和Kendall等级相关等。等级相关没有积差相关要求那样严格,相同的情况下,等级相关的精确度要低于积差相关。

3 偏相关分析

如果我们想除去共同噪声的影响,可以选择偏相关分析的方法(在频域上叫偏相干)。其结果与先回归掉噪声再计算相关的结果是一样的。

4 频域上的相关分析

如果我们的处理对象是时间序列,除了以上谈到的方法外,我们还可以度量频域上的相关性,如使用相干谱分析的方法,如小波相干等。即您可以得到不同时间点不同频率上的线性相关性系数,同时还可以平衡时间和空间上的分辨率。

但是在什么情况下,要选用哪个的相关性系数呢?

如果有时间建议大家不妨多做些实验,而且要定期做,因为数据集的变化(稀疏度、噪声等因素)可能导致相似度指标效果的变化。比如对于一个电商平台的商品推荐系统,初期时可能使用方法x效果最好,当用户数逐渐增加,商品越来越丰富,可能方法y效果最好,直到系统越来越复杂,可能这时方法z是最好的了。所以建议定期做些离线试验来选择此时效果最好的方法。

我们常用的如Jaccard相关, Cosine相关,Pearson 相关都是属于线性相关的范畴,复杂的还有非线性相关的方法,如多谱分析,互信息等。但这些在我们电商的场景中很少用到。

来源:京东大数据

1、回复“数据分析师”查看数据分析师系列文章

2、回复“案例”查看大数据案例系列文章

3、回复“征信”查看相关征信的系列文章

4、回复“可视化”查看可视化专题系列文章

5、回复“SPPS”查看SPSS系列文章

6、回复“答案”查看hadoop面试题题目及答案

7、回复“爱情”查看大数据与爱情的故事

8、回复“笑话”查看大数据系列笑话

9、回复“大数据1、大数据2、大数据3、大数据4”查看大数据历史机遇连载

PPV课大数据ID: ppvke123 (长按可复制)

大数据人才的摇篮!专注大数据行业人才的培养。每日一课,大数据(EXCEL、SAS、SPSS、Hadoop、CDA)视频课程。大数据资讯,每日分享!数据咖—PPV课数据爱好者俱乐部!

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2015-10-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

机器学习入门阶段易犯的 5 个错误

怎样进入机器学习领域没有定式。我们的学习方式都有些许不同,学习的目标也因人而异。 但一个共同的目标就是要能尽快上手。 如果这也是你的目标,那么这篇文章为你列举了...

3095
来自专栏新智元

谷歌用“多巴胺”怼上OpenAI,开源TensorFlow强化学习框架

最近 OpenAI 在 Dota 2 上的表现,让强化学习又大大地火了一把,但是 OpenAI 的强化学习训练环境 OpenAI Gym 却一直遭到不少抱怨,比...

3283
来自专栏数据派THU

全解今日头条大数据算法原理(附PPT&视频)

来源:今日头条 通过本文为大家从4个方面介绍今日头条推荐系统的算法原理。 3分钟了解今日头条推荐算法原理 今天,算法分发已经是信息平台、搜索引擎、浏览器、社交...

4834
来自专栏新智元

【新智元专访】神经元本身也能编程,神经网络学习能力远超预期

【新智元导读】以往认为,人脑学习的能力是基于神经元之间连接的增强或减弱。日前,瑞典隆德大学研究人员发表在 PNAS 的一项研究发现,神经元本身也具有编程或者说学...

57914
来自专栏计算机视觉战队

人工智能在《LOL&王者荣耀》游戏中的角色

近期LOL和王者荣耀游戏已经充斥着真个朋友圈,但是谁又知道在火热的游戏进行中,又有一批批IT男在完成另一项重要的任务,那就是利用深度学习的知识去完成游戏直播的智...

1576
来自专栏人工智能快报

IBM正在研制通用型深度学习芯片

深度学习领域仍在不断发展,特别地,专家们认识到如果芯片能够使用低精度的计算方式得出近似答案,神经网络就可以用很少的资源完成大量的计算。这在移动设备和其他功率受限...

1052
来自专栏AI研习社

支持Python!Facebook开源预测工具Prophet

【AI研习社】关注AI前沿、开发技巧及技术教程等方面的内容。欢迎技术开发类文章、视频教程等内容投稿,邮件发送至:zhangxian@leiphone.com ...

3885
来自专栏CDA数据分析师

警惕!机器学习入门阶段易犯的5个错误

怎样进入机器学习领域没有定式。我们的学习方式都有些许不同,学习的目标也因人而异。 但一个共同的目标就是要能尽快上手。如果这也是你的目标,那么这篇文章为你列举了程...

1775
来自专栏量子位

谷歌AI“你画我猜”强推“狗年版本”,腾讯AI要帮你修老照片 | 竹货新春

? 今天大年初一。为了庆贺中国农历狗年的到来,谷歌刚刚在自己的AI“你画我猜”游戏中更新了狗狗版本。 (你画我猜,介系里没有挽过的船新版本。挤需体验三番钟,...

3859
来自专栏ATYUN订阅号

Deepmind:让AI学会在没有地图的城市中导航

AiTechYun 编辑:nanan 在你童年时你是如何学会去朋友家、学校或者小卖部的?也许你不需要地图,只是简单地记住沿途街道的外观和转弯处就行。随着你逐渐探...

3497

扫码关注云+社区