贝叶斯定理证明:直觉未必正确

直觉是否是第六感,尚且不得而知,仿佛是灵机一动,又或者突然有所感,但从深层次去分析,或许还是来自生活的经验。这些经验未必是自己亲身体验,多数还是道听途说,又或者是被看似真实实则虚假的数据欺骗了。一个例子让数学定理如何证明直觉之虚妄。

让我们先来看看生活中的一个小例子。假设有某种疾病D,在10000人中会有1人患此病;又假设对患此病的人进行测试,测试为阳性的比例达到99%,也就是说100名患者中,有99名患者检测结果皆为阳性(positive)。问题:

在检测为阳性的情况下,某一个人确定患该病的概率是多少?

不用仔细思考,先用自己的直觉判断,概率高还是低?再结合数据认真思考,你得到的概率值会是多少呢?我想,或许绝大部分人的第一反应是:在检测为阳性的情况下,基本就可以确诊身患D病了。再结合前面给出的数据进行运算,会非常容易地得到答案为99%。这是显而易见的吧,100名患者99名都检测为阳性,那么,——不是反之亦然么?

显然,直觉欺骗了我们。上述数据营造了一种假象,让我们忽略了未患D病的人检测为阳性所占的比例。

让我们把数据增大,假设有一百万人。在这个基数下,患D病的人有100人。在这100人中,检测为阳性的人为99人。现在考虑未患D病的人数,一百万减去一百,得到的人数为999900。根据检测阳性的比例,检测这些人时,会有1%的几率会检测为阳性,人数为999900*1%等于9999人。于是,我们可以计算出患D病且检测为阳性的人在所有检测为阳性的人中所占的比例为:99/99+9999,结果才不到1%。

这样结果真让人莫名惊诧了。换言之,我们可以下结论说:当某个人检测为阳性时,断定他(她)患D病的几率仅仅为0.98%。那么说,这样的检测给医生的参考依据几乎可以忽略不计啊!为什么会这样?——从概率学的角度讲,这其实是贝叶斯定理(Bayes's Theorem)的体现。

首先我们将患病的事件记做D,检测为阳性的事件记做T。如果患病的事件没有发生,则称为“Not D”,符号记为:¬D。同理,检测不为阳性的事件可以记为¬T。

如果记D、T都发生的概率为P(D,T),则有公式:

P(D,T) = P(D|T)/P(T)

其中P(D|T)为当T发生时,D发生的概率,这一概率被称之为事件D关于事件T的条件概率(Conditional probability)。由于P(D,T) = P(T,D) = P(T|D)/P(D),因而条件概率的公式可以记为:

P(D|T) = P(D,T)/P(T) = P(T|D)P(D)/P(T)

我们再将事件D拆分为D和¬D,则P(T)可以记为:

P(T) = P(T,D) + P(T,¬D)

这个公式是一个公理,因为在具有D、T两个事件的情况下,P(T)必然只存在两种情况,要么在T发生时,D也发生;要么在T发生时,D没有发生。那么贝叶斯定理就可以记为:

P(D|T) = P(T|D)P(D)/[P(T|D)P(D) + P(T|¬D)(P¬D)]

现在我们可以计算P(D|T),即测试为阳性时,患D病的概率值了。我们已知:

  • P(T|D):当患D病时,检测为阳性的概率为0.99;
  • P(D):10000个人有1个人患D病,则概率为1/10000=0.0001;
  • P(T|¬D):没有患D病时,检测为阳性的概率为1-0.99=0.01;
  • P(¬D):没有患D病的概率为1-0.0001=0.9999。

计算上面的公式,P(D|T)等于0.98%。符合我们前面的分析。然而我们的直觉呢?简直溃败而不成军了。

注:上面所述D与T之间关系乃理想状态,判断一个人是否生病,检测是否阳性、阴性仅仅为其中一个要素。例如当我们再增加一个症状事件S后,同时满足T与S的前提,则D发生的概率值就会显著增加。

原文发布于微信公众号 - 逸言(YiYan_OneWord)

原文发表时间:2015-09-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏思影科技

语言网络的短期迅速重组

来自德国马克斯普朗克研究所(Max Planck Institute,Germany)的Gesa Hartwigsen等人在eLIFE期刊上发表了一片文章,研究...

2778
来自专栏机器之心

业界 | Nature:能自主学习的人工突触,为无监督学习开辟新的路径

选自Nature 机器之心编译 参与:蒋思源、刘晓坤 近日,Nature 发表了一个研究团队开发的一种能自主学习的人工突触,它能提高人工神经网络的学习速度。该研...

26211
来自专栏大数据文摘

“蝴蝶效应”也能预测了?看机器学习如何解释混沌系统

1977
来自专栏AI研习社

如何在 Python 内使用深度学习实现 iPhone X 的 FaceID

在最近推出的 iPhone X 中,它被讨论最多的特点之一是它采用了新的解锁方法,即 TouchID:FaceID。

1123
来自专栏机器之心

哪款安卓手机适合跑AI?移动端芯片性能评测论文出炉

论文:AI Benchmark: Running Deep Neural Networks on Android Smartphones

2874
来自专栏思影科技

高功能自闭症患者的脑网络动力学

近日,来自伦敦大学学院认知神经系的Takamitsu Watanabe和Geraint Rees在nature communications期刊上发表了一项研究...

3279
来自专栏新智元

最高比Mask-RCNN快3倍!上交大实时姿态估计AlphaPose升级

今年2月,上海交通大学卢策吾团队MVIG实验室AlphaPose 系统上线,是首个在 COCO 数据集上可达到 70+ mAP 的开源姿态估计系统。本次更新,在...

2684
来自专栏量子位

超火的漫画线稿上色AI出新版了!无监督训练,效果更美好 | 代码+Demo

夏乙 安妮 编译整理 量子位 出品 | 公众号 QbitAI 给喜欢的动漫形象建个了收藏夹,里面收集她的各种图片……懂,谁没几个喜欢的动漫萌妹呢。 一些手绘线稿...

2843
来自专栏AI研习社

最值得收藏的机器学习入门方法,今天统统分享给你

一说到机器学习,我被问得最多的问题是:给那些开始学习机器学习的人的最好的建议是什么?

962
来自专栏新智元

耶鲁编程马拉松:用神经网络学习超级马里奥游戏

? Joe Crozier 和我最近刚从YHack 回来,那是一个耶鲁大学举办的36小时编程马拉松,有1500人参加。这是我们连续第二年参加这个比赛,也是我们...

3588

扫码关注云+社区