一条SQL搞定卡方检验计算

作者介绍 : 周东谕,2011年加入腾讯,现任职于腾讯互娱运营部数据中心,主要从事游戏相关的数据分析和挖掘工作。

引言

上一篇文章《一条SQL搞定信息增益的计算》介绍了在机器学习特征工程中,如何使用SQL来进行信息增益的计算。卡方检验作为一种数理统计中的假设检验方法,也常用于特征选择中。本文简单介绍了卡方检验的原理,并用Hive SQL实现卡方检验值的计算。

卡方检验原理

卡方检验最基本的思想就是通过观察实际值与理论值的偏差来确定理论的正确与否。对应到我们实际工作中,我们的理论假设是:假设某特征(如性别、年龄)分布与Target值(以二分类为例,是否流失、是否付费,通常用0,1表示)的分布相互独立,通常我们把这个理论假设叫做“原假设”,用一句通俗的话来解释就是“用户是不是流失跟他/她的性别没有关系”。

然后我们手上有一堆样本数据了,我们要通过观察样本数据来判断我们的“原假设”是否成立。如果不成立,我们就要推翻“原假设”,证明实际情况是“用户流失跟他/她的性别可能有关系”。卡方检验值就是用来上述假设的P值。它的计算公式如下:

为例便于理解,公式还是以“性别对于用户流失是否有影响”为例进行描述。其中et表示特征的枚举,ec是Target枚举。N表示特征和Target划分下的数据量,用SQL描述就是特征维度和Target维度进行group by后count的量。从这里可以看出,卡方检验要求特征值为离散型的。E表示期望值,以特征为male,Target为1为例,计算其期望值如下:

这样分别求出特征与Target各种组合下的期望以及该特征的卡方值。还是以上文的一个例子来描述这个计算的过程:

数据如下:

统计数据如下:

根据统计结果,我们可以计算得如下表:

一共10项,每一项表示特征与Target各种组合下卡方值,然后求和得每个特征的卡方值:

通过查卡方值的P值表,我们可以看出来,sex性别的卡方值小于P=0.1的较为宽泛假设卡方值,此时我们要支持原假设,认为性别和是否流失相互独立的,不存在关联。而活跃度act的卡方值11.4大于P=0.001,此时我们要否定原假设,支持活跃度和是否流失可能相互不独立。

从结果来看,活跃度的卡方值更大,所以我们得出的结论是用户活跃度的大小和他/她是否流失关系相对于性别特征来说更大。

SQL代码及说明:

SELECT
feature_name,SUM(chi_square) as chi_square
FROM
(
	SELECT
	t1.feature_name,
	t1.feature_value,
	t1.label,
	--推导以后
	(NVL(Nab,0)*N-Na*Nb)*(NVL(Nab,0)*N-Na*Nb)/(Na*Nb*N) as chi_square
	FROM
	(
		SELECT t1.feature_name,feature_value,label,Na,Nb 
		FROM
		(
			SELECT feature_name,feature_value,COUNT(1) as Na FROM chi_squre_test_caculate
			GROUP BY feature_name,feature_value
		)t1 join 
		(
			SELECT feature_name,label,COUNT(1) as Nb FROM chi_squre_test_caculate
			GROUP BY feature_name,label
		)t2 on t1.feature_name=t2.feature_name
	)t1 
	left join 
	(
	
		SELECT feature_name,feature_value,label,COUNT(1) as Nab FROM chi_squre_test_caculate
		GROUP BY feature_name,feature_value,label
	)t2 on t1.feature_name=t2.feature_name and t1.feature_value=t2.feature_value and t1.label=t2.label
	left join 
	(
		SELECT feature_name,COUNT(1) as N FROM chi_squre_test_caculate GROUP BY feature_name
	)t3 on t1.feature_name=t3.feature_name
)GROUP BY feature_name

参考文献:

1 机器学习特征选择之卡方检验与互信息

http://blog.csdn.net/yihucha166/article/details/50646615

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CSDN技术头条

Yoshua Bengio等大神传授:26条深度学习经验

【编者按】8月初的蒙特利尔深度学习暑期班,由Yoshua Bengio、 Leon Bottou等大神组成的讲师团奉献了10天精彩的讲座,剑桥大学自然语言处理与...

1916
来自专栏量化投资与机器学习

【年度系列】使用LSTM预测股票市场基于Tensorflow

在本文开始前,作者并没有提倡LSTM是一种高度可靠的模型,它可以很好地利用股票数据中的内在模式,或者可以在没有任何人参与的情况下使用。写这篇文章,纯粹是出于对机...

1623
来自专栏人工智能头条

深度学习在自然语言处理的应用

1493
来自专栏智能算法

Yoshua Bengio等大神传授:26条深度学习经验

原文地址:http://www.marekrei.com/blog/26-things-i-learned-in-the-deep-learning-summe...

3516
来自专栏CVer

[计算机视觉论文速递] 2018-03-01

[1]《Stereoscopic Neural Style Transfer》 CVPR 2018 论文首次尝试对3D电影或AR/VR的新需求进行立体神经风格...

4018
来自专栏AI研习社

不会做特征工程的 AI 研究员不是好数据科学家!上篇 - 连续数据的处理方法

眨眼间我们就从人工特征、专家系统来到了自动特征、深度学习的人工智能新时代,众多开源测试数据集也大大降低了理论研究的门槛,直接加载数据集就可以开始模型训练或者测试...

47710
来自专栏SIGAI学习与实践平台

机器学习发展历史回顾

机器学习是现阶段解决很多人工智能问题的主流方法,作为一个独立的方向,正处于高速发展之中。最早的机器学习算法可以追溯到20世纪初,到今天为止,已经过去了100多年...

1423
来自专栏专知

【业界】 | 谷歌 NIPS 2017 23篇论文:从注意力到价值预测网络(附论文下载)

【导读】2017年度神经信息处理系统大会(NIPS 2017)将于12 月份在美国长滩举行,本届NIPS共收到 3240 篇论文投稿,录用 678 篇,录用率为...

35010
来自专栏人工智能头条

Yoshua Bengio、 Leon Bottou等大神传授:深度学习的26条经验

1632
来自专栏CSDN技术头条

深度学习在自然语言处理的应用

【编者按】Jonathan Mugan写了两篇博文来解释计算机如何理解我们在社交媒体平台上使用的语言,以及能理解到何种程度。本文是其中的第二篇。 在深度学习出现...

1989

扫码关注云+社区