ROC曲线

简介

受试者工作特征曲线（receiver operating characteristic curve，简称ROC曲线），是比较两个分类模型好坏的可视化工具。

作用

1.较容易地查出任意界限值时的对类别的识别能力

2.选择最佳的诊断界限值。ROC曲线越靠近左上角,试验的准确性就越高。最靠近左上角的ROC曲线的点是错误最少的最好阈值，其假阳性和假阴性的总数最少。

3.两种或两种以上不同诊断试验对算法性能的比较。在对同一种算法的两种或两种以上诊断方法进行比较时，可将各试验的ROC曲线绘制到同一坐标中，以直观地鉴别优劣，靠近左上角的ROC曲线所代表的受试者工作最准确。亦可通过分别计算各个试验的ROC曲线下的面积(AUC)进行比较，哪一种试验的AUC最大，则哪一种试验的诊断价值最佳。

分析

ROC曲线是根据一系列不同的二分类方式（分界值或决定阈），以真阳性率TPR（灵敏度）为纵坐标，假阳性率FPR（1-特异度）为横坐标绘制的曲线。

混校矩阵

这样可以一目了然的看出正确分类和错误分类的样本数量，所以

准确率precision=（TP+TN）/（P+N）

但是在实际应用中，我们感兴趣的类往往只占少数，所以在test集存在类不平衡的情况下，准确率对于我们的模型意义很小，eg：test中续费90，流失10，即使你把所有的样本预测为续费，准确率依然为90%，但对于我们感兴趣的流失用户而言，这个模型没有什么意义

所以，现实中我们更在乎的其实是召回率，即灵敏度，当然我们一般关注较高的是我们感兴趣类的召回率

recall =TP/（TP+FN）=TP / P

F度量则对准确率和召回率做一个权衡

F=（1+a2）*precision*recall/（a*precision+recall）

a2是a的平方，一般默认a= 1

说了这么多看似跟ROC没有相关的概念，但其实理解了上面的公式才能更好的理解ROC的作用，这里是美丽的分割线，下面是优美的ROC曲线

定义：

TPR = TP/P 即召回率公式

FPR = FP/N 即1-specificity

ROC曲线是以FPR为横坐标，以TPR为纵坐标，以概率为阈值来度量模型正确识别正实例的比例与模型错误的把负实例识别成正实例的比例之间的权衡，TPR的增加必定以FPR的增加为代价，ROC曲线下方的面积是模型准确率的度量

所以根据ROC曲线定义可知，绘制ROC要求模型必须能返回监测元组的类预测概率，根据概率对元组排序和定秩，并使正概率较大的在顶部，负概率较大的在底部进行画图。

代码实现

 from sklearn.metrics import roc_curve #导入ROC曲线函数
 predict_result = net.predict(test[:,:3]).reshape(len(test))
 fpr, tpr, thresholds = roc_curve(test[:,3], predict_result, pos_label=1)
 plt.plot(fpr, tpr, linewidth=2, label = 'ROC of LM') #作出ROC曲线
 plt.xlabel('False Positive Rate') #坐标轴标签
 plt.ylabel('True Positive Rate') #坐标轴标签
 plt.ylim(0,1.05) #边界范围
 plt.xlim(0,1.05) #边界范围
 plt.legend(loc=4) #图例
 plt.show() #显示作图结果
 
 fps, tps, thresholds = _binary_clf_curve(        y_true, y_score, pos_label=pos_label, sample_weight=sample_weight)
 fpr_skl, tpr_skl, thresholds_skl = roc_curve(y_true, y_score, drop_intermediate=False)
 

通过测试，返回值中，fps和tps就是混淆矩阵中的FP和TP的值；thresholds就是y_score逆序排列后的结果（由于保留的小数位数不同，所以表面上看上去不一样，其实是一样的）。

其中参数drop_intermediate参数是对roc计算过程的优化，不影响roc图像。