“被打”和“北大” 的关联--- 趣味数据挖掘系列之一

作者:唐常杰

小时候喜欢读趣味数理化,所以久有一个小心愿,写一组趣味数据挖掘的科普博文。要把数据挖掘的一些概念讲得通俗有趣,需要好的例子,正搜寻中,一个有趣的、适合解释关联规则的例子就冒出来了。   科学网上三位博主周涛、吕喆、程智在博文(文1 , 文2, 文3)  中 对“狼爸打子成才,把三个子女送进了北大”的事情做了定性分析。

  本文借此例来说明数据挖掘中关联规则中支持度、置信度和兴趣度概念,顺便对此事做个定量分析, 同时也作为趣味数据挖掘系列博文的开篇。 这个关联规则 可写成下列形式:    R1: 被打 --> 北大, 支持度 s=?, 置信度 c=?

或 反过来

R2: 北大 --> 被打, 支持度 s=?, 置信度 c=? (观察因果的角度与R1有所不同) 下面将其计算支持度、置信度的上限,为简单,采用了一些略有放大的粗略假定和估计。 1 支持度 (support) 全国每年高考人数大约1000万人(2008 :1050万,2009:1020万,2010: 957万);把“狼爸”的三个孩子算成同一年进北大(支持度放大三倍),假定同年进北大、且都有“被打”的经历有3K名(支持度大约放大3K倍)   于是,全国考生中 “被打”且 “进北大” 的支持度s 为:      支持度 s = 3K/107 =3K*10-7 狼爸的故事表明,这里k≥1, 据常识估计K<10 ( 如果轻率放大K,北大学生会提出抗议,幸好,这里只是反面的假定 ),于是:      支持度 s < 3*10-6 (支持度没有因果方向, 对R1和R2都适用) 对这样的概率比较小的事件,成熟彩民也会只当做娱乐,实在不值得媒体大惊小怪。 2 计算“北大-->被打”的置信度 (confidence) 2.1 在北京大学内计算 规则R1“被打--> 北大” 的 置信度计算稍有点难, 留到2.2小节解析。

我们先计算 R2:“北大-->被打”的置信度,它也同样能说明某种关联,北大本科生 14000人(大约),平均每年收学生3500人,设其中挨过家长打的有3K人(1≤k<10),没有挨打的不少于3470人,则: 北大-->被打, 置信度为 3K/3500 < 0.86% 北大-->不被打, 置信度为 3470/3500 > 99.14% 可见,“被打”和“北大”的关联 很小,不足为信,当不得真。 2.2 计算“被打-->北大”的置信度 (confidence):   如上面假设,假定 同年全国被打的N名,其中进入北大的3K名(如上估计,0≤k<10)则

R1: 被打-->北大, 置信度 = 3k/N ,

如果N很大,k>0,置信度就比较小(不敢轻易估计N的具体数值,但不希望N大,那是教育的悲剧),

如果N不太大,K>0,置信度就比较大。

如果某年,k=0,不管N是多大,那一年“被打-->北大”的置信度 为0. 2.3 在该家庭范围内计算,兼议规则的兴趣度: “狼爸”有四个孩子(不知为什么能够超生),估计四个都挨过打,三个上了北大 被打--> 北大, 支持度 0.75, 置信度 0.75。 (1)

这条规则一旦走出其家门, 就不成立了。所以,准确表达为:

(该家,被打) --> 北大, 支持度 0.75, 置信度 0.75。 (2)

为了说明其无意义,我们还可以挖掘出一条千真万确的关联规则:

(该家子女,每天吃饭) --> 北大, 支持度 0.75, 置信度 0.75。 (3)

如果把“每天吃饭”改为任意的保健品,关联规则也成立,比“打”更具有有诱惑力,说不定还有经济效益。这条无意义的关联规则,说明需引入关联规则的兴趣度,此概念稍复杂,只简介其大致思想。

当关联规则左边是多个项,如上面的(3)式,可以用减项法测试每个项的贡献,这类似过敏疾病患者判断过敏源,左边甚至可以减少到空集。在(3)式中,

(a)把“每天吃饭”去掉, 不减少支持度和置信度,说明此项冗余;

(b)如把“该家子女”去掉,则相当于在全国的大数据集上挖掘, 支持度和置信度立刻大减,说明这个项是至关重要的。

如果一个关联规则中,每一个项都是重要的,这个关联规则基本上是有意义的。

3 错误的挖掘结论

这里有几个估计,(1) 所谓的“打”,实际上是高高举起,轻轻放下,是严格的指代词,还不是那种打得皮开肉绽的打(那样会打掉尊严和信心,就悲剧了);(2)老大比较懂事;(3)老大对老二老三的影响远胜于老爸打的效果。“狼爸”在挖掘关联规则时候,忽略了这一因素,“父假长子(女)之威”,用数据挖掘的行话,犯了“No interesteness” 的错误(这是一个稍复杂的概念),得出了错误的挖掘结论。

4 一个支持度和置信度都很高的关联规则 在输入文本的纠错技术中,常关注词与词的发声关联,或谐音关联,“被打”和“北大”的普通话发音都是“beida”,用拼音输入法时候,二者容易混淆,又例如,本博文在输入最后一节小标题“辨才需待七年期”时,曾把 “辨才”输入为“辩才“(谢谢22楼的朋友的指正),纠错软件会把近音词按近似度排序列出。因为在语音近似的意义上: 被打--> 北大,支持度 100%, 置信度 100% 于是,在用拼音方法输入“被打”之后,作输入纠错检查时,软件列出候选词中的Top 1 就是“北大”,或许可以作为中学生被打后的一种安慰。

这一技术在处理网络文本,微博挖掘时也很有用,如规范 “悲剧 Vs 杯具”,“p2p Vs. P-to-P",”U Vs. YOU“,以及许多网络同声缩略语等等。

5 曾经言必称啤酒尿布 过去讲关联规则时候,常常用啤酒尿布的故事,有三个要点: (a)表象分析:说,沃尔玛通过抽象的销售数据挖掘,发现啤酒和尿布常被男性顾客们同时购买,在挖掘出来的若干条形如 ( Xi-->Yi ,s=? c=? ) 的规则中,这一条支持度和置信度都比较高; (b)内在联系 (这不属于数据挖掘,而属于管理)调查发现,婴儿之父下班为孩子买尿布时顺手买回自己爱喝的啤酒; (c )促销措施 (属于促销手段),把啤酒和尿布放在同一个货架 ,或进一步地,把啤酒降价,把尿布涨价,吸引婴儿之父的消费。

现在人们认为,这只是一个故事,或许,“狼爸”的例子更贴近,更容易消除对概念的误解。

6 猜自然之谜时,数据挖掘虽属无奈之举,却很有效。 在人们没有掌握行星运动规律之前,人们从历史观测数据去找规律,找匹配。第谷是一位实验天文学家,历经40年观察,积累了关于行星运动的大量数据。   开普勒在第谷的四十年数据上,用手工作数据挖掘,挖掘了十年,发现了行星运动三大定律。 Candida Ferreira采用基因表达式编程(GEP)方法,用10个 个体, 进化50代,只需要少得多的数据,几秒钟就可完成(参见文献[1],P253-257 )。有了这个定律,如今计算某个行星的位置,就不再需要数据挖掘,而直接用公式了。所以数据挖掘是在不知道规律时,而要猜自然之谜时的无奈之举。 如今,未破解的自然之谜还很多,数据挖掘虽属无奈之举,却很有效,挖掘出正确的表达形式(公式,定律等)后,再设法用理论或模型 来作动力学的或构造性的解释。 上面的分析表明,数据挖掘能从能从一些平常熟视无睹的事实中,挖掘出令人惊奇的结果。所以,有些国家把数据挖掘专业看作是敏感专业,出国学数据挖掘的学生去办留学签证时,常常被Check ,复查,偶尔也听说过被拒签。

7 辨才需待七年期

“狼爸”的三个子女进了北大,还不能就说是成功了,今后还要作科研,找工作,也许还要读研,写论文…, 等待他们的竞争还多,要等将来工作上出成果了,才算成功。 有道是:试玉要烧三日满,辨才需待七年期。希望他们在七年或者十年之后能真正成才,那时的成才,与现在的“打”,实在是没有什么关联了。

博友已提出问题,问方法,关联规则怎么挖掘 ?问应用,怎么使用关联规则?且等下篇分解。

参考文献 [1] Candida Ferreira,"Gene Expression Programming ,Mathematical Modeling by an Artificial

Intelligence",Second, revised and extended edition,P253-257 ,Springer,2006 ,ISSN print

edition: 1860-949X,ISSN electronic edition: 1860-9503 ,Library of Congress Control

Number: 2006921791.

PPV课其他精彩文章:


1、回复“干货”查看干货 数据分析师完整知识结构

2、回复“答案”查看大数据Hadoop面试笔试题及答案

3、回复“设计”查看这是我见过最逆天的设计,令人惊叹叫绝

4、回复“可视化”查看数据可视化专题-数据可视化案例与工具

5、回复“禅师”查看当禅师遇到一位理科生,后来禅师疯了!!知识无极限

6、回复“啤酒”查看数据挖掘关联注明案例-啤酒喝尿布

7、回复“栋察”查看大数据栋察——大数据时代的历史机遇连载

8、回复“数据咖”查看数据咖——PPV课数据爱好者俱乐部省分会会长招募

9、回复“每日一课”查看【每日一课】手机在线视频集锦

PPV课大数据ID: ppvke123 (长按可复制)

大数据人才的摇篮!专注大数据行业人才的培养。每日一课,大数据(EXCEL、SAS、SPSS、Hadoop、CDA)视频课程。大数据资讯,每日分享!数据咖—PPV课数据爱好者俱乐部!

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2015-06-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

前沿 | 详解Microns项目:通过大脑逆向工程来创造通用人工智能

选自IEEE Spectrum 机器之心编译 参与:黄小天、晏奇、李亚洲 去年,美国高级情报研究计划署(Intelligence Advanced Resea...

36450
来自专栏新智元

Nature:科学家首次实现肉眼可见的量子纠缠

18560
来自专栏大数据文摘

资源 | 机器学习高质量数据集大合辑

在机器学习中,寻找数据集也是非常重要的一步。质量高或者相关性高的数据集对模型的训练是非常有帮助的。

15040
来自专栏磐创AI技术团队的专栏

资源 | 机器学习高质量数据集大合辑

在机器学习中,寻找数据集也是非常重要的一步。质量高或者相关性高的数据集对模型的训练是非常有帮助的。

10240
来自专栏大数据挖掘DT机器学习

【趣味】数据挖掘(1)——"被打"与"北大"的关联

小时候喜欢读趣味数理化,所以久有一个小心愿,写一组趣味数据挖掘的科普博文。要把数据挖掘的一些概念讲得通俗有趣,需要好的例子,正搜寻中,一个有趣的、适合解...

36160
来自专栏量子位

机器翻译简史:八十多年来,人类就是要再造一座通天塔

《圣经》中记载,人类曾经联合起来兴建能通往天堂的高塔,为了阻止人类的计划,上帝让人类说不同的语言,使人类相互之间不能沟通,计划因此失败,人类自此各散东西。

11320
来自专栏新智元

华中科大骆清铭:开启“脑空间信息计划”,连接脑科学与类脑人工智能

【新智元导读】华中科技大学(苏州)脑空间信息技术研究院启动在即,旨在使工业级高分辨率脑图成为神经科学的标准工具。这一项目由华中科技大学生物医学成像研究者骆清铭领...

48770
来自专栏量子位

Google人工智能面试·真·题(附参考答案+攻略)

然而想要“应试”成功,考验的不仅仅是开发人员的编程技术,还能侧面考验着参赛者的渠道来源是否广泛、背景力量是否强大、脑洞回路是否清奇……

17330
来自专栏新智元

AI换脸终结者问世!美国防部推首款AI侦测工具,“反换脸”精度99%!

【新智元导读】美国防部研发出了全球首款“反AI变脸刑侦检测工具”,专用于检测AI变脸/换脸造假技术。如今,以GAN为代表的AI换脸术盛行,相应的人脸检测识别技术...

38820
来自专栏PPV课数据科学社区

一条通往数据科学家的必经之路!

经常有人问我“要成为数据挖掘工程师或者数据科学家应该读什么书?”类似的问题。下面是一份建议书单,同时也是成为数据科学家的指南,当然,这不包括取得合适大学学位的要...

36960

扫码关注云+社区

领取腾讯云代金券