人人都应该掌握的9种数据分析思维

说到数据分析,啤酒和尿布的例子大家应该都听腻了。再具体、深入一些的内容,往往因为数学就令很多人望而却步了。给大家分享9个不带数学推导的数据分析思路,希望大家能喜欢~

1. 分类

分类分析的目标是:给一批人(或者物)分成几个类别,或者预测他们属于每个类别的概率大小。

举个栗子:“京东的用户中,有哪些会在618中下单?”这就是个典型的二分类问题:买or不买。

分类分析(根据历史信息)会产出一个模型,来预测一个新的人(或物)会属于哪个类别,或者属于某个类别的概率。结果会有两种形式:

形式1:京东的所有用户中分为两类,要么会买,要么不会买。

形式2:每个用户有一个“会买”,或者“不会买”的概率(显然这两个是等效的)。“会买”的概率越大,我们认为这个用户越有可能下单。

如果为形式2画一道线, 比如0.5,大于0.5是买,小于0.5是不买,形式2就转变成形式1了。

2. 回归

回归任务的目标是:给每个人(或物)根据一些属性变量来产出一个数字(来衡量他的好坏)。

举个栗子:每个用户在618会为京东下单多少钱的?

注意回归和分类的区别在:分类产出的结果是固定的几个选项之一,而回归的结果是连续的数字,可能的取值是无限多的。

3. 聚类

聚类任务的目标是:给定一批人(或物),在不指定目标的前提下,看看哪些人(或物)之间更接近。

注意聚类和上面的分类和回归的本质区别:分类和回归都会有一个给定的目标(是否下单,贷款是否违约,房屋价格等等),聚类是没有给定目标的。

举个栗子:给定一批用户的购买记录,有没有可能分成几种类型?(零食狂魔,电子爱好者,美妆达人……)

4. 相似匹配

相似匹配任务的目标是:根据已知数据,判断哪些人(或物)跟特定的一个(一批)人(或物)更相似。

举个栗子:已知一批在去年双十一下单超过10000元的用户,哪些用户跟他们比较相似?

5. 频繁集发现

频繁集发现的目标是:找出经常共同出现的人(或物)。这就是大名鼎鼎的“啤酒和尿布”的例子了。 这个例子太容易扩展,就不再举栗子啦。

6. 统计(属性、行为、状态)描述

统计描述任务的目标是最好理解的:具有哪些属性的人(或物)在什么状态下做什么什么事情。

举个栗子:5月份一个月内每个用户在京东7天内无条件退货的次数

统计描述常常用户欺诈检测,试想一个用户一个月退货100+次,这会是一种什么情况?

7. 连接预测

连接预测的目标是:预测本应该有联系(暂时还没有)的人(或物)。

举个栗子:你可能认识xxx?你可能想看xxx?

8. 数据压缩

数据压缩的目的是:减少数据集规模,增加信息密度。

举个栗子:豆瓣想分析用户关于国外电影的喜好,讲国内电影的评分数据都排除掉

大数据,也不是数据越多越好,数据多带来的信息多,但是噪声也会变多。

9. 因果分析

顾名思义,因果分析的目标是:找出事物间相互影响的关系。

举个栗子:广告的效果提升的原因是广告内容好?还是投放到了更精准的用户?

这里最常见的手段就是A/B test啦

数据分析是非常强大的,不过当然还是要在具体的情景下,严格的选择假设,采用科学的分析方法才能产出有价值的结果。数据会说谎的经典案例就是“安慰剂效应”了。

原文发布于微信公众号 - 钱塘大数据(qtbigdata)

原文发表时间:2017-09-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

动态 | 商汤科技正式开源 mmdetection 和 mmcv

AI 科技评论消息,10 月 12 日,商汤科技正式开源 mmdetection (https://github.com/open-mmlab/mmdetect...

2662
来自专栏企鹅号快讯

通过人工神经网络探讨信号完整性的未来

想象一下,如果电脑或机器人可以完成所有枯燥乏味的工作,我们就能享受生活、做更多有意义的事(如图1所示)。这些绝对是许多学术界、工业界研究人员的愿望。工程师的最终...

2405
来自专栏大数据挖掘DT机器学习

百度电影推荐系统比赛——初步推荐算法实践

前一阵子参加了百度的电影推荐系统创新比赛。http://openresearch.baidu.com/activitycontent.jhtml?channel...

1.2K6
来自专栏大数据文摘

机器学习的5种“兵法”;

2495
来自专栏量子位

谷歌推出TFGAN:开源的轻量级生成对抗网络库

原作 Joel Shor 机器感知高级软件工程师 Root 编译自 谷歌开源博客 量子位 出品 | 公众号 QbitAI 一般情况下,训练一个神经网络要先定义一...

2744
来自专栏AI科技大本营的专栏

AI 技术讲座精选:ChainerMN 分布式深度学习的性能

2017深度学习峰会于今年1月在旧金山落下帷幕。会上,PFN 发布了其在多节点环境下使用 Chainer 的分布式深度学习所取得的进展。在今天的这篇文章中,我会...

39312
来自专栏人工智能头条

大四学生整理:一份“不完美”的数据科学问答清单

1326
来自专栏机器之心

学界 | UCSB提出变分知识图谱推理:在KG中引入变分推理框架

选自arXiv 作者:Wenhu Chen等 机器之心编译 参与:张楚、思源 推理知识图谱中缺失的连接已经吸引了研究界的广泛关注。在本论文中,加州大学圣塔芭芭拉...

4126
来自专栏人工智能快报

富士通新技术大幅减少深度学习对内存的需求

《IEEE科技纵览》发表文章称,富士通开发的新技术可以大幅减少深度学习算法对内存的需求。 日本富士通开公司发了一种基于深度学习神经网络算法的并行计算加速方法,该...

3348
来自专栏企鹅号快讯

开源的轻量级生成对抗网络库

原作 Joel Shor 机器感知高级软件工程师 编译自 谷歌开源博客 量子位 出品 一般情况下,训练一个神经网络要先定义一下损失函数,告诉神经网络输出的值离目...

2828

扫码关注云+社区

领取腾讯云代金券