在信号检测理论中,接收者操作特征曲线(receiver operating characteristic curve, 或者叫ROC曲线)是一种坐标图式的分析工具, 用于 (1) 选择最佳的信号侦测模型、舍弃次佳的模型。 (2) 在同一模型中设定最佳阈值。
这里我们只要记得
ROC曲线
主要是用来确定一个模型的 阈值。 同时在一定程度上也可以衡量这个模型的好坏
(编号,分数)
:
(1,2) (2,2.4) (2,0.4)....(100,3)
假设4:我是一个神医,
能百分百确定别人是否得了感冒。
然后我看了你的报告,
并给每个数据都给了确定的答案,
其中感冒60人,正常40人,
这一步骤主要是模拟实际生产数据中的真实 lab 值。
所以数据就变成了(编号,是否真感冒,分数)
(1,0,2) (2,1,2.4) (2,0,0.4).... (100,1,3)
好了,现在问题来了,
你是给每个病人打分了,
也知道分数越高得感冒得概率越高,
但是,到底得没得感冒却没有一个标准,
这个标准就是上面说的 阈值,
所以接下来就是要想办法确定这个 阈值或者标准了,
那么我们采用办法呢?
对于这种 二分类 问题的阈值,
就是我们 ROC 曲线大展身手的时候了。
阈值=1 诊断感冒 诊断正常 合计 真感冒 60 0 60 真正常 20 20 40 合计 80 20 100 我们可以发现被你诊断为 感冒的 患者中, 有 60 个是 真的患者, 还有 20 个 正常 也被你诊断成了 感冒。
这里我们引入了真阳率 和 假阳率, 其定义如下: 真阳率:预测为真,并且预测正确 占 所有真样本的 比例 假阳率:预测为真,但是预测错误 占 所有非真样本的 比例 这里很明显,我们的 真 就是 患者,非真 就是 正常 人 所以合适的阈值就是:使得 真阳率 趋于 1,并且 假阳率 趋于 0。
真阳率 和 假阳率
,
将这一组组 真阳率 和 假阳率
在坐标轴上表示出来,
就是我们要的 ROC曲线,
通过图形化,我们就可以很直观的看到他们的变化了。
这个图只是随便在网上找的,
可不是这个列子的图噢,
我们大概看下 ROC曲线的 样子就好了
roc.png
其中 x 轴表示 假阳率,y 轴表示 真阳率,
可以发现 假阳率 和 真阳率 是成正相关的,
也就是说我们其实基本不可能找到一个 阈值,
使得 真阳率=1
而 假阳率=0
,
如果出现这种情况,
那么这个曲线的经过(0,1)点,
这个图就是一个正方形了。
好了,到这里我想对 ROC曲线 你应该有一个比较感观的认识了, 其实这个算法也是很符合我们的常识的, 也告诉我们,看似高大上的一些算法, 其实真的就是源于生活的点点滴滴。
这里再补充一点: 我一直说的都是从 预测为感冒 这个角度来阐述, 这也是二分类的一个好处, 我们只要想明白了一个角度, 另外一个角度就是一个
1 - x
的问题了
只是看文字好像不是很好理解,
可以结合上面那个例子来看一看就好理解了,
我们给所有来看病的人都有打分,
按照打分给他们排个序,
然后随机挑选一个真得感冒 和 一个 真正常的人,
看一下是不是真正常的人排在前面,
如果是,那么计数为1,
进行 N 次实验,
所有计数的累计和 为 n,
那么 n/N
就是AUC的值了,
顺便提一下,最理想的情况就是 n = N
了,
也意味着我们的打分已经完美
定义有两种,但是他们应该如何进行理解互通呢? 笔者目前也不是很清楚,尝试推理了下, 也不是很明白,这里就不敢班门弄斧了, 如果有大佬理解,请不吝赐教!!!非常感谢!!! 这里如果有感谢兴趣的朋友,也可以查看下 这篇博客, 应该是我找到的比较有深度的 auc 的计算了
AUC = 1
:完美预测,基本不会存在的情况。
如果 0.5 < AUC < 1
:除了完美预测,那就乘这个区间的最有价值了。
如果 AUC = 0.5
:因为是二分类,随机猜测也就是这个概率了,完全就没有价值
如果 AUC < 0.5
:比随机猜测的概率还低!!!但是反过来说,非黑即白,如果取个反呢?总的来说,不考虑最后一种情况, AUC当然是越大 越好, 如果是最后一致情况,那当然是越小越好, 因为我一旦取反,那么就和第一种情况一样啦。
这里还补充一点, 关于我们预测分类为什么不直接用 准确度,
我们可以想象一下,对于一些有偏的数据, 比如中彩票的概率如果是 万分之一, 那么我要预测中没中彩票, 只要都预测为不中, 那我的准确率不是有 99.99%? 看数据是不是很好,但是实际是不是很废? 用 ROC 和 AUC 来评判就是可以很好的避免这个问题了, 具体你可以自己算算这个列子的 ROC 曲线就可以理解了。
auc.text
,内容如下:
-1 0.12 -1 0.13 -1 0.16 1 0.2 -1 0.21 -1 0.23 1 0.3 -1 0.32 -1 0.35 1 0.4 -1 0.42 -1 0.46 1 0.5 -1 0.51 -1 0.53 1 0.7 1 1.1 1 1.2 1 1.2
cat auc.text |sort -k2n|awk '($1==-1){++x;a+=y}($1==1){++y}END{print 1.0-a/(x*y)}'
通过一个简单的 awk 就可以得出来了,
至于这个公式得原理,也很简单,
就是完全遵循我们定义中的第二种方式得来的,
推理过程就不啰嗦了,
大致解释下:
我不知道我解释的有没有让你明白.... 但是我只能说到这里了.... 好了,本文到此就结束啦!谢谢你的阅读!!!