基本概念 P-R曲线中，P为图中precision，即精准度，R为图中recall，即召回率。 Example 下面通过具体例子说明。...接下来对confidence score排序，得到： P-R曲线： 我们得到top-5的结果，前score最高的前5个样本，预测label为1，即： 此例中采用top-5评估，也可采用其他评估，...这个例子的precision-recall曲线如下： 实际多类别分类任务中，我们通常不满足只通过top-5来衡量一个模型的好坏，而是需要知道从top-1到top-N（N是所有测试样本个数，本文中为20...把recall当成横坐标，precision当成纵坐标，即可得到常用的precision-recall曲线。...计算方法如下： 相应的Precision-Recall曲线（这条曲线是单调递减的）如下： AP衡量的是学出来的模型在每个类别上的好坏，mAP衡量的是学出的模型在所有类别上的好坏，得到AP后mAP
下图是两个分类器模型（算法）的ROC曲线比较图： ? 2.2 P-R曲线 在P-R曲线中，Recall为横坐标，Precision为纵坐标。...在ROC曲线中曲线越凸向左上角约好，在P-R曲线中，曲线越凸向右上角越好。P-R曲线判断模型的好坏要根据具体情况具体分析，有的项目要求召回率较高、有的项目要求精确率较高。...P-R曲线的绘制跟ROC曲线的绘制是一样的，在不同的阈值下得到不同的Precision、Recall，得到一系列的点，将它们在P-R图中绘制出来，并依次连接起来就得到了P-R图。...2.3 ROC与P-R对比 从公式计算中可以看出，ROC曲线中真阳性率TPR的计算公式与P-R曲线中的召回率Recall计算公式是一样的，即二者是同一个东西在不同环境下的不同叫法。...当正负样本差距不大的情况下，ROC曲线和P-R的趋势是差不多的，但是当负样本很多的时候，ROC曲线效果依然较好，但是P-R曲线效果一般。
P-R曲线及其绘制 Precision-Recall曲线，简称P-R曲线，其横轴是召回率，纵轴是精确率。下面举例说明其绘制方法。...最后得到一系列P、R值序列，就画出P-R曲线（如下图，不对应上面数据）。即P-R曲线是通过将阈值从高到低移动而生成。...P-R曲线上一个点的含义是，在该阈值下，模型将大于该阈值的结果判定为正样本，小于该阈值的结果判定为负样本，此时返回结果对应的召回率和精确率。P-R 曲线越靠近右上角性能越好。...6.ROC和P-R曲线比较 P-R曲线和ROC曲线都能评价分类器的性能。如果分类器a的PR曲线或ROC曲线包围了分类器b对应的曲线，那么分类器a的性能好于分类器b的性能。...可以看出，在正负失衡的情况下，从ROC曲线看分类器的表现仍然较好（图c），然而从P-R曲线来看，分类器就表现很差。事实情况是分类器确实表现的不好，是ROC曲线欺骗了我们。
P-R 曲线 ?...AP 是计算某一类 P-R 曲线下的面积，mAP 则是计算所有类别 P-R 曲线下面积的平均值。...通过上表，我们可以绘制出 P-R 曲线（因为 AP 就是 P-R 曲线下面的面积），但是在此之前我们需要计算出 P-R 曲线上各个点的坐标，根据置信度从大到小排序所有的预测框，然后就可以计算 Precision...曲线 ?...得到 P-R 曲线就可以计算 AP（P-R 曲线下的面积），要计算 P-R 下方的面积，一般使用的是插值的方法，取 11 个点 [0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7
今天讲的是：分类模型评价指标-PR曲线！ 《机器学习100天》完整目录：目录 上一节我们已经了解了混淆矩阵的概念，并掌握了精确率、召回率的计算公式，在这里。现在我们来学习 PR 曲线的概念。...如图中所示，P-R 曲线的 P 就是精确率（也称为查准率），R 就是召回率（也称为查全率）。以查全率作为横坐标，查准率作为纵坐标。对于同一个模型，通过调整分类阈值，可以得到不同的 P-R 值。...不同的阈值，计算得到不同的 P 值和 R 值，然后将所有不同阈值下的 P-R 坐标点连接起来，就得到了 P-R 曲线。通常随着分类阈值从大到小变化，查准率减小，查全率增加。...比较两个分类器好坏时，显然是查得又准又全的比较好，也就是说 PR 曲线越往坐标（1，1）的位置靠近越好。若一个学习器的 P-R 曲线被另一个学习器完全”包住”，则后者的性能优于前者。...也可以通过平衡点（即查准率=查全率的点，P-R 曲线与这条虚线的交点，称为 Break-Even Point，BEP）来判断。BEP 越靠近坐标（1，1），则模型越好。
P-R曲线 既然矛盾，那两者之间的关系应该如下图 ? 这条曲线叫 P-R曲线，即查准率-查全率曲线。 这条曲线怎么画出来的呢？...两种情形 如果学习器A的P-R曲线能完全“包住”学习器C的P-R曲线，则A的性能优于C 如果学习器A的P-R曲线与学习器B的P-R曲线相交，则难以判断孰优孰劣，此时通常的作法是，固定查准率，比较查全率，...通常情况下曲线会相交，但是人们仍希望把两个学习器比出个高低，一个合理的方式是比较两条P-R曲线下的面积。 但是这个面积不好计算，于是人们又设计了一些其他综合考虑查准率查全率的方式，来替代面积计算。...ROC曲线的绘制方法与P-R曲线类似，不再赘述，结果如下图 ? 横坐标为假正例率，纵坐标为真正例率，曲线下的面积叫 AUC 如何评价模型呢？...类别不均衡 模型评估必须考虑实际任务需求 P-R 曲线和 ROC曲线可以用于模型选择 ROC曲线可以用于模型优化
首先理解这四个基本指标： ROC曲线中，是以FPR为x轴，TPR为y轴。 PR曲线中，以Recall为x轴，Precision为y轴。...绘制ROC曲线和PR曲线都是选定不同阈值，从而得到不同的x轴和y轴的值，画出曲线。 在 ROC 空间，ROC 曲线越凸向左上方向效果越好，但是，PR 曲线是右上凸效果越好。...所以，PR曲线在正负样本比例悬殊较大时，更能反映分类器的性能。 当正负样本分布发生变化时，ROC 曲线的形状能够基本保持不变，而 P-R 曲线的形状一般会发生较剧烈的变化。...若选择不同的测试集，P-R 曲线的变化就会非常大，而 ROC 曲线则能够更加稳定地反映模型本身的好坏。 所以，ROC 曲线的适用场景更多，被广泛用于排序、推荐、广告等领域。...但需要注意的是，选择 P-R 曲线还是 ROC 曲线是因实际问题而异的，如果研究者希望更多地看到模型在特定数据集上的表现，P-R 曲线则能够更直观地反映其性能。
比如我们现在要在一个给定的测试样本集中计算猫这个类别的AP，过程如下： 首先，AP要能概括P-R曲线的形状，其被定义为采用如下公式来计算： ?...那么，我们先来看看P-R曲线是什么：用蓝色笔迹遮住的部分不需要关注。 ? 图中的曲线C就是一条P-R曲线，P表示纵轴的查准率precision，R表示横轴的召回率或称为查全率recall。...P-R曲线下的面积可以用于评估该曲线对应的模型的能力，也就是说比较2个目标检测模型哪个更好，可以用P-R曲线面积来比较，面积越大模型越好。...这样，在置信度阈值为0.6的情况下，我们就得到了一对P(precision)和R(recall)，接着我们取不同的置信度阈值，得到更多的P-R对,然后根据公式(2)找到所有大于指定召回率r的召回率rhat...所对应的的p的最大值(采用这种方法是为了保证P-R曲线是单调递减的，避免摇摆)，作为当前指定召回率r条件下的最大查准率p，然后根据公式(1)计算出AP。
怎么解读 ROC 曲线？ 如何画 ROC 曲线？ 代码 什么是 AUC？ 代码 ROC 曲线和 P-R 曲线对比？ ---- ROC 曲线和 AUC 常被用来评价一个二值分类器的优劣。...ROC 曲线相比 P-R 曲线有什么特点？ 当正负样本的分布发生变化时，ROC 曲线的形状能够基本保持不变，而 P-R 曲线的形状一般会发生较剧烈的变化。...想要验证这个结论，可以先根据数据画出一对 roc 和 PR 曲线，再将测试集中的负样本数量增加 10 倍后再画一对 ROC 和 PR 图，然后会看到 P-R 曲线发生了明显的变化，而 ROC 曲线形状基本不变...当我们希望看到模型在某个特定数据集上的表现时，P-R 曲线能够更直观地反映模型性能。 ---- 大家好！我是 Alice，欢迎进入一起学《百面机器学习》系列！...---- 本篇文章在原来的基础上加了 ROC 曲线和 P-R 曲线的对比。
[i20190926085603.png] 比如我们现在要在一个给定的测试样本集中计算猫这个类别的AP，过程如下： 首先，AP要能概括P-R曲线的形状，其被定义为采用如下公式来计算： [i20190926091615....png] 那么，我们先来看看P-R曲线是什么：用蓝色笔迹遮住的部分不需要关注。...[i20190926091648.png] 图中的曲线C就是一条P-R曲线，P表示纵轴的查准率precision，R表示横轴的召回率或称为查全率recall。...P-R曲线下的面积可以用于评估该曲线对应的模型的能力，也就是说比较2个目标检测模型哪个更好，可以用P-R曲线面积来比较，面积越大模型越好。...所对应的的p的最大值(采用这种方法是为了保证P-R曲线是单调递减的，避免摇摆)，作为当前指定召回率r条件下的最大查准率p，然后根据公式(1)计算出AP。
3.6 P-R（Precision-Recall）曲线 这里简单介绍一下P-R曲线的绘制方法。P-R曲线的横轴是召回率，纵轴是精确率。...对于一个排序模型来说，其P-R曲线上的一个点代表着，在某一阈值下，模型将大于该阈值的结果判定为正样本，小于该阈值的结果判定为负样本，此时返回结果对应的召回率和精确率。 PR曲线越靠近右上越好。...ROC曲线越靠近左上越好。 3.9 Roc曲线与P-R曲线有何不同？...相比P-R曲线，ROC曲线有一个特点，当正负样本的分布发生变化时，ROC曲线的形状能够基本保持不变（稳定），而P-R曲线的形状一般会发生较剧烈的变化（敏感）。...选择P-R曲线还是ROC曲线是因实际问题而异的，如果研究者希望更多地看到模型在特定数据集上的表现，P-R曲线则能够更直观地反映其性能。
“P-R曲线”正是描述查准/查全率变化的曲线，P-R曲线定义如下：根据学习器的预测结果（一般为一个实值或概率）对测试样本进行排序，将最可能是“正例”的样本排在前面，最不可能是“正例”的排在后面，按此顺序逐个把样本作为...P-R曲线如何评估呢？若一个学习器A的P-R曲线被另一个学习器B的P-R曲线完全包住，则称：B的性能优于A。若A和B的曲线发生了交叉，则谁的曲线下的面积大，谁的性能更优。...ROC曲线正是从这个角度出发来研究学习器的泛化性能，ROC曲线与P-R曲线十分类似，都是按照排序的顺序逐一按照正例预测，不同的是ROC曲线以“真正例率”（True Positive Rate，简称TPR...同样地，进行模型的性能比较时，若一个学习器A的ROC曲线被另一个学习器B的ROC曲线完全包住，则称B的性能优于A。若A和B的曲线发生了交叉，则谁的曲线下的面积大，谁的性能更优。...ROC曲线下的面积定义为AUC（Area Uder ROC Curve），不同于P-R的是，这里的AUC是可估算的，即AOC曲线下每一个小矩形的面积之和。
本文将详细介绍机器学习分类任务的常用评价指标：准确率（Accuracy）、精确率（Precision）、召回率（Recall）、P-R曲线（Precision-Recall Curve）、F1 Score...P-R曲线 P-R曲线（Precision Recall Curve）正是描述精确率/召回率变化的曲线，P-R曲线定义如下：根据学习器的预测结果（一般为一个实值或概率）对测试样本进行排序，将最可能是“正例...P-R曲线如何评估呢？若一个学习器A的P-R曲线被另一个学习器B的P-R曲线完全包住，则称：B的性能优于A。若A和B的曲线发生了交叉，则谁的曲线下的面积大，谁的性能更优。...另一个原因是，ROC和上面做提到的P-R曲线一样，是一种不依赖于阈值（Threshold）的评价指标，在输出为概率分布的分类模型中，如果仅使用准确率、精确率、召回率作为评价指标进行模型对比时，都必须时基于某一个给定阈值的...阈值问题 与前面的P-R曲线类似，ROC曲线也是通过遍历所有阈值来绘制整条曲线的。如果我们不断的遍历所有阈值，预测的正样本和负样本是在不断变化的，相应的在ROC曲线图中也会沿着曲线滑动。 ?
P-R、ROC、AUC 定义 P-R 曲线：横轴召回率，纵轴精确率。...计算 P-R ? P-R 曲线上的点代表不同阈值下模型将大于阈值的结果视为正样本，小于阈值的为负样本。...ROC、AUC 除了 F1 和 P-R 曲线外，ROC 和 AUC 也可以综合反应一个模型的性能。...相比 P-R 曲线来说，ROC 曲线有一个很大的特点：ROC 曲线的形状不会随着正负样本分布的变化而产生很大的变化，而 P-R 曲线会发生很大的变化。 ?...如上图测试集负样本数量增加 10 倍以后 P-R 曲线发生了明显的变化，而 ROC 曲线形状基本不变。在实际环境中，正负样本的数量往往是不平衡的，所以这也解释了为什么 ROC 曲线使用更为广泛。
精确率和召回率是此消彼长的关系，二者之间的关系可以通过下图所示的P-R曲线来描述 ? 从图中可以看到，精确率越大，召回率越小；精确率越小，召回率越大。...对于一个分类模型而言，不同的阈值可以得到不同的精确率和召回率，依次可以绘制P-R曲线，当我们比对多个模型时，通过曲线下的面积来衡量，面积大的模型效果更好。...BEP就是用来方便的比较P-R曲线下面积的，平衡点越大，曲线下面积越大，所以直接比较不同模型的BEP就可以了。...最后一个常用的评价指标是ROC曲线，ROC的全称如下 Receiver Operating Characteristic 翻译成受试者工作特征曲线，为了理解ROC曲线，首先要搞清楚以下两个概念 ?...和P-R曲线类似，ROC曲线可以展示同一个模型，不同阈值条件下的效果，相比单一阈值条件下计算的准确率，精确率，召回率，其衡量模型泛化能力的效果更强。
最后利用这些（R，P）点绘制成P-R曲线。 定义： ? 通俗点讲，AP就是这个P-R曲线下的面积。...还有一个细节非常重要：刚才说AP是P-R曲线下的面积，其实这个说法并不准确。实际上在计算AP时，都要对P-R曲线做一次修正，将P值修正为当R>R0时最大的P（R0即为该点对应的R），即 ?...下图即为修正前P-R曲线和修正后P-R曲线。 ? P-R curve 如图，蓝色实曲线为原始P-R曲线、橘色虚曲线为修正后P-R曲线。为什么要修正P-R曲线呢？...每给定一个IOU阈值和类别，都会得到一个P-R曲线，该曲线P不为0时的最大的R，就称为该IOU阈值下该类别的Recall（其实是“最大Recall”），在类别尺度上平均后，就是该IOU阈值下的AR，通常我们会用...在两个检测结果的mmAP相同时，更高的AR并不意味着更好的检测效果，而仅仅意味着“更扁平的P-R曲线”（可自行脑补该曲线）。
“P-R曲线”是描述查准/查全率变化的曲线，P-R曲线定义如下：根据学习器的预测结果（一般为一个实值或概率）对测试样本进行排序，将”最可能”是正例的样本排在前面，”最不可能”是正例的排在后面，按此顺序逐个把样本作为正例进行预测...若一个学习器C的P-R曲线被另一个学习器A的P-R曲线完全包住，可称学习器A的性能优于学习器C。若两个学习器的P-R曲线发生交叉，则比较它们的面积，面积大的性能优。...ROC曲线正是从这个角度出发来研究学习器的泛化性能，ROC（Receiver Operating Characteristic）曲线与P-R曲线十分类似，都是按照排序的顺序逐一按照正例预测，不同的是ROC...进行学习器的比较时，与P-R图相似。ROC曲线下的面积定义为AUC(Area Under ROC Curve)，不同于P-R图，这里的AUC是可计算的，即曲线下每一个小矩形的面积之和。...在非均等错误代价下，ROC曲线不能直接反映出学习器的期望总体代价，而“代价曲线”可达到目的。代价曲线横轴是取值在[0,1]之间的正例概率代价 ?
目录： 1 ，二分类问题：算法评价指标 1.1，P-R曲线； 1.2，F1-score; 1.3，ROC曲线； 2 ， 线性分类之逻辑回归： 3...，多分类问题：SoftMax、信息熵（cross_entropy） 1.1 ，P-R曲线：以二分类问题为例，分类结果的混淆矩阵如下： ?...从图上所示，不同的算法，对应着不同的P-R曲线：A，B，C三条曲线。...1.3，ROC曲线：Receiver Operating Characteristic. ROC曲线上每个点反映着对同一信号刺激的感受性。...ROC曲线就是分类器的一个评价指标： 如下图所示不同阀值的游走产生了ROC曲线，曲线距左上角越近，证明分类效果越好。 ?
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
