一条SQL搞定卡方检验计算

作者介绍 : 周东谕,2011年加入腾讯,现任职于腾讯互娱运营部数据中心,主要从事游戏相关的数据分析和挖掘工作。

引言

上一篇文章《一条SQL搞定信息增益的计算》介绍了在机器学习特征工程中,如何使用SQL来进行信息增益的计算。卡方检验作为一种数理统计中的假设检验方法,也常用于特征选择中。本文简单介绍了卡方检验的原理,并用Hive SQL实现卡方检验值的计算。

卡方检验原理

卡方检验最基本的思想就是通过观察实际值与理论值的偏差来确定理论的正确与否。对应到我们实际工作中,我们的理论假设是:假设某特征(如性别、年龄)分布与Target值(以二分类为例,是否流失、是否付费,通常用0,1表示)的分布相互独立,通常我们把这个理论假设叫做“原假设”,用一句通俗的话来解释就是“用户是不是流失跟他/她的性别没有关系”。

然后我们手上有一堆样本数据了,我们要通过观察样本数据来判断我们的“原假设”是否成立。如果不成立,我们就要推翻“原假设”,证明实际情况是“用户流失跟他/她的性别可能有关系”。卡方检验值就是用来上述假设的P值。它的计算公式如下:

为例便于理解,公式还是以“性别对于用户流失是否有影响”为例进行描述。其中et表示特征的枚举,ec是Target枚举。N表示特征和Target划分下的数据量,用SQL描述就是特征维度和Target维度进行group by后count的量。从这里可以看出,卡方检验要求特征值为离散型的。E表示期望值,以特征为male,Target为1为例,计算其期望值如下:

这样分别求出特征与Target各种组合下的期望以及该特征的卡方值。还是以上文的一个例子来描述这个计算的过程:

数据如下:

统计数据如下:

根据统计结果,我们可以计算得如下表:

一共10项,每一项表示特征与Target各种组合下卡方值,然后求和得每个特征的卡方值:

通过查卡方值的P值表,我们可以看出来,sex性别的卡方值小于P=0.1的较为宽泛假设卡方值,此时我们要支持原假设,认为性别和是否流失相互独立的,不存在关联。而活跃度act的卡方值11.4大于P=0.001,此时我们要否定原假设,支持活跃度和是否流失可能相互不独立。

从结果来看,活跃度的卡方值更大,所以我们得出的结论是用户活跃度的大小和他/她是否流失关系相对于性别特征来说更大。

SQL代码及说明:

SELECT
feature_name,SUM(chi_square) as chi_square
FROM
(
	SELECT
	t1.feature_name,
	t1.feature_value,
	t1.label,
	--推导以后
	(NVL(Nab,0)*N-Na*Nb)*(NVL(Nab,0)*N-Na*Nb)/(Na*Nb*N) as chi_square
	FROM
	(
		SELECT t1.feature_name,feature_value,label,Na,Nb 
		FROM
		(
			SELECT feature_name,feature_value,COUNT(1) as Na FROM chi_squre_test_caculate
			GROUP BY feature_name,feature_value
		)t1 join 
		(
			SELECT feature_name,label,COUNT(1) as Nb FROM chi_squre_test_caculate
			GROUP BY feature_name,label
		)t2 on t1.feature_name=t2.feature_name
	)t1 
	left join 
	(
	
		SELECT feature_name,feature_value,label,COUNT(1) as Nab FROM chi_squre_test_caculate
		GROUP BY feature_name,feature_value,label
	)t2 on t1.feature_name=t2.feature_name and t1.feature_value=t2.feature_value and t1.label=t2.label
	left join 
	(
		SELECT feature_name,COUNT(1) as N FROM chi_squre_test_caculate GROUP BY feature_name
	)t3 on t1.feature_name=t3.feature_name
)GROUP BY feature_name

参考文献:

1 机器学习特征选择之卡方检验与互信息

http://blog.csdn.net/yihucha166/article/details/50646615

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【重磅】Facebook AI 负责人:深度学习技术趋势报告(150 PPT 全文翻译及下载)

Yann LeCun 是卷积神经网络的发明人,Facebook 人工智能研究院的负责人。下文的 150 张 PPT,是 LeCun 对深度学习领域的全面而细致的...

4106
来自专栏大数据文摘

暑期追剧学AI | 十分钟搞定机器学习中的数学思维(二)

1432
来自专栏数说工作室

【温故】金融数据挖掘之朴素贝叶斯

你和我之前的人生, 就像是来自同一个分布族的共轭曲线, 即使有各自的参数空间, 也注定要相识相念。 你和我之后的人生, 是我们相扶相持下不离不弃的最大似然, 用...

3325
来自专栏量子位

如何在Kaggle比赛上击败98%的对手?你需要一份七步秘笈

一位叫做Abhay Pawar的少年,在2600多支队伍参加的Instacart Market Basket Analysis比赛上,击败了98%的对手。

782
来自专栏大数据挖掘DT机器学习

数学之美番外篇:平凡而又神奇的贝叶斯方法

作者:LeftNotEasy 原文:http://blog.csdn.net/mydear_11000/article/details/48731497 概率论...

2574
来自专栏CreateAMind

使用模仿学习攻克Atari最难游戏!DeepMind新论文解读

953
来自专栏量子位

只需一张照片,运动视频分分钟伪造出来 | MIT新算法

1253
来自专栏懒人开发

(3.11)James Stewart Calculus 5th Edition:Linear Approximations and Differentials

这个时候,对应的 f(x)的近似值,我们叫做 linear approximation 线性近似 或者 tangent line approximation...

1173
来自专栏AI科技大本营的专栏

深度文本匹配在智能客服中的应用

文本匹配是自然语言理解中的一个核心问题,它可以应用于大量的自然语言处理任务中,例如信息检索、问答系统、复述问题、对话系统、机器翻译等等。这些自然语言处理任务在很...

1526
来自专栏人工智能头条

Edwin Chen的Netflix推荐竞赛技术总结

1602

扫码关注云+社区