在 StorySerializer.py 中，如果导入正确，则如果类别是外键并且类别是故事模型中的另一个模型，则字段类别=serializers.CharField(source='category.id...如果类别不是外键，则原始参数是正确的。...还要确保 StorySerializer 在views.py的顶部正确导入 from .StorySerializer import StorySerializer 假设 StorySerializer...是在名为 StorySerializer.py 的文件中定义的，该文件与views.py 文件位于同一目录中 这应该就是全部了！
) 来评估非二进制前景图，进而使得评估不需要像传统AUC曲线那样通过繁琐且不可靠的多阈值化来计算精度、召回率，仅通过简单的计算(5.3ms)就可以得到非常可靠的评价结果，成为该领域第一个简单的专用评价指标...问题引出：专门评价指标缺陷 评价指标的合理与否对一个领域中模型的发展起到决定性的作用，现有的前景图检测中应用最广泛的评价指标为：平均精度AP (average precision)和曲线下的面积AUC（...在评价非二进制前景图时，需要将输入图像进行阈值化得到多个阈值，再计算精度（precision）和召回率（recall）。 图1 然而，该方法已经被证明[1] 存在天然的缺陷。...这清楚地表明新的指标具有更强的鲁棒性和稳定性。 总结 该评测指标将很快出现在标准的Opencv库以及Matlab中，届时可以直接调用。...评测指标的代码计算简单，仅需对均值、方差进行加减乘除即可，无需阈值256次得到多个精度和召回率，再画进行繁琐的插值计算得到AUC曲线。
同样，这些术语也适用于对象检测和分割。但是，确切的含义并不相同。在目标检测中，预测的正确性（TP、FP 或 FN）是在 IoU 阈值的帮助下确定的。...其中 Precision 值记录在 11 个等间距的 Recall 值中。平均精度定义如下： 精度值在 11 个召回值之间进行插值，即 0、0.1、0.2、0.3、…、1.0。...在 PASCAL VOC 2005 中引入了 ROC（接收器操作特性）-AUC（曲线下面积）度量。绘制了对应于假阳性率 (FPR) 值的真阳性率 (TPR) 值。...它是在 2007 年的 PASCAL VOC 挑战赛中引入的。它以 IoU 阈值 0.5 计算。与 ROC-AUC 相比，该指标更敏感。该度量具有以下优点。 提高可解释性。...提高低召回率时的性能可见性。 【3】PR-AUC，帕斯卡 VOC 2010 PR-AUC 是 Precision-Recall 曲线下的确切面积。与 11 点法不同，我们不必插入精度值。
自定义交差验证（优化） 每个折叠由StratifiedKFold执行分层抽样，产生的每个类别中的比例符合原始数据中的比例 每次迭代会创建一个分类器的副本，用训练器对这个副本进行训练，然后测试集进行测试...只有当召回率和精度都很高的时候，分类器才会得到较高的F_1分数 1=21精度+1召回率(3)(3)F1=21精度+1召回率 In [28]: from sklearn.metrics import f1..._score f1_score(y_train_0, y_train_pred) Out[28]: 0.8586609989373006 精度/召回率权衡 精度和召回率通常是一对”抗体“，我们一般不可能同时增加精度又减少召回率...值、精度和召回率，发现都得到了提升： In [51]: roc_auc_score(y_train_0,y_scores_forest) # ROC-AUC值 Out[51]: 0.9975104189747056...，以及使用不同的指标（精度、召回率、精度/召回率平衡）、ROC曲线等来比较SGD和RandomForestClassifier不同的模型。
如果改变阈值则会改变模型的性能。这里可以根据应用程序领域选择一个阈值来最大化重要的度量(通常是精度或召回率)，比如在kaggle的比赛中经常会出现thresh = 0.4xx的情况。...选择重要的度量 最大化的重要指标是什么呢?如何确定? 在二元分类任务中，我们的模型会出现两种类型的错误: 第一类错误:预测Y为True，但它实际上是False。也称为假正例错误。...但这些错误并不同等重要，对于不用的领域有着不同的要求，比如医学的检测和金融的风控中，需要尽量减小假负例也就是避免第二类错误，需要最小化假负例的数量，那么最大化的重要指标是召回率。...ROC AUC，它等于0.9794 计算并绘制ROC曲线 计算并绘制精度-召回率曲线 下面的代码块表示这些步骤: def probs_to_prediction(probs, threshold):...可以看到模型的性能很好。 在本例中，假设在我们的实际应用中FP的成本> FN的成本，所以选择一个阈值在不降低召回率的情况下最大化精度。
如果改变阈值则会改变模型的性能。这里可以根据应用程序领域选择一个阈值来最大化重要的度量(通常是精度或召回率)，比如在kaggle的比赛中经常会出现thresh = 0.4xx的情况。...选择重要的度量 最大化的重要指标是什么呢?如何确定? 在二元分类任务中，我们的模型会出现两种类型的错误: 第一类错误:预测Y为True，但它实际上是False。也称为假正例错误。...但这些错误并不同等重要，对于不用的领域有着不同的要求，比如医学的检测和金融的风控中，需要尽量减小假负例也就是避免第二类错误，需要最小化假负例的数量，那么最大化的重要指标是召回率。...ROC AUC，它等于0.9794 计算并绘制ROC曲线 计算并绘制精度-召回率曲线 下面的代码块表示这些步骤： def probs_to_prediction...可以看到模型的性能很好。 在本例中，假设在我们的实际应用中FP的成本> FN的成本，所以选择一个阈值在不降低召回率的情况下最大化精度。
微观平均值和宏观平均值表示在多类设置中解释混淆矩阵的两种方式。...请注意，对于当前数据集，微观平均和宏观平均F1的总体（0.78）和加权精度（0.69）具有相似的关系。 精确调用曲线和AUC ROC曲线下的面积（AUC）是评估软分类器分类分离质量的有用工具。...在多类别设置中，我们可以根据它们对所有精度召回曲线的关系可视化多类别模型的性能。AUC也可以推广到多类别设置。...多类设置的AUC通用化 单个决策值的广义AUC 当单个数量允许分类时，可使用包装中的 multiclass.roc 功能 pROC确定AUC。 ...对于软分类器，您可以确定一对全精度召回曲线，也可以使用Hand and Till中的AUC 。
平均精度（Average Precision，mAP）是一种常用的用于评估目标检测模型性能的指标。在目标检测任务中，模型需要识别图像中的不同目标，并返回它们的边界框（bounding box）和类别。...平均精度 Average Precision 另一种比较目标检测器性能的方法是计算Precision x Recall曲线下面积(AUC)。...这就是为什么平均精度(AP)，一个数值度量，也可以帮助我们比较不同的探测器。在实践中，AP是0到1之间所有召回值的精度平均值。 从2010年开始，PASCAL VOC挑战计算AP的方法发生了变化。...在一些图像中，有多个检测重叠一个基本真值(图2、3、4、5、6和7)。...内插精度值取召回值大于其当前召回值的最大精度，如下所示: 通过应用11点插值，我们得到: 所有点的插值 通过插值所有点，平均精度(AP)可以解释为精度x召回率曲线的近似AUC。
今天我们从交并比，准确率，精度，召回率，FPR, F1-Score, PR曲线，ROC曲线，AP的值，AUC的值以及很重要的mAP指标，模型的检测速度和非极大值抑制的相关方面来学习下目标检测中的评价指标...2.3 召回率/TPR 召回率recall和TPR(灵敏度(true positive rate))是一个概念，都是从真实的样本集来统计的，是说在总的正样本中，模型找回了多少个正样本，即“找的全”的比例...F2分数认为召回率的重要程度是精度的2倍，而F0.5分数认为召回率的重要程度是精度的一半。...PR曲线—AP值/ROC曲线-AUC值 上面学习了关于精度，召回率，FPR，和F1-Score的知识，但是通常，只有那些往往不能够直观的反应模型性能，所以就有了PR曲线，ROC曲线，AUC值。...NMS计算出每一个bounding box的面积，然后根据置信度进行排序，把置信度最大的bounding box作为队列中首个要比较的对象； 2).
微观平均值和宏观平均值表示在多类设置中解释混淆矩阵的两种方式。...但是，我们的假设分类器对于单个类别（如B类（精度）和E类（精度和召回率））的表现不佳。现在，我们将研究F1得分的微观平均值和宏观平均值如何受到模型预测的影响。...在多类别设置中，我们可以根据它们对所有精度召回曲线的关系可视化多类别模型的性能。AUC也可以推广到多类别设置。 一对一的精确召回曲线 我们可以通过绘制K 二进制分类器的性能来可视化多类模型的性能。...该方法基于拟合K 对所有分类器，其中在第（i）次迭代中，组g\_i设置为正类，而所有类g\_j与j neq i 一起被视为否定类。...对于软分类器，您可以确定全精度召回曲线，也可以使用Hand and Till中的AUC 。 ---- 本文摘选《R语言中的多类别问题的绩效衡量：F1-score 和广义AUC》
与数据科学中的绝大多数概念一样，在我们想要最大化的指标之间存在一个权衡。在召回率的例子中，当召回率增大的时候，精度就会减小。...精度—召回率权衡 结合精度和召回率 在某些情况中，我们也许需要以牺牲另一个指标为代价来最大化精度或者召回率。...F1 score 给了精度和召回率相同的权重，它是通用 Fβ指标的一个特殊情况，在 Fβ中，β 可以用来给召回率和精度更多或者更少的权重。...可视化精度和召回率 我已经向你抛出了几个新术语，接下来我将通过一个例子向你展示它们在实际中是如何使用的。在使用之前，我们要简单地谈一谈精度和召回率的概念。...在上图中，蓝色曲线的 AUC 将大于红色曲线的 AUC，这意味着蓝色模型在实现准确度和召回率的权衡方面更好。随机分类器 (黑线) 实现 0.5 的 AUC。
所以评估指标是面试时经常会被问到的基础问题，本文整理了10个常见的问题。 1、你能在机器学习的背景下解释精度和召回率之间的区别吗? 在机器学习模型中，精度和召回率是两个常用的评估指标。...例如，在医学诊断中，召回率可能更重要，因为它对识别一种疾病的所有病例至关重要，即使这会导致更高的假阳性率。但是在欺诈检测中，精确度可能更重要，因为避免虚假指控至关重要，即使这会导致更高的假阴性率。...6、你能介绍以下模型评估中精度和召回率之间的权衡吗? 模型评估中精度和召回率之间的权衡是指正确识别正面实例(召回率)和正确识别仅正面实例(召回率)之间的权衡。...精度高意味着假阳性的数量低，而召回率高意味着假阴性的数量低。对于给定的模型，通常不可能同时最大化精度和召回率。为了进行这种权衡，需要考虑问题的特定目标和需求，并选择与它们相一致的评估度量。...使用不同的评估指标:诸如精度、召回率、F1-score和ROC曲线下面积(AUC-ROC)等指标对类别不平衡很敏感，可以更好地理解模型在不平衡数据集上的性能。
2、树的结构不稳定，可以得出变量重要性，可以作为变量筛选随机森林随机森林比决策树在变量筛选中，变量排序比较优秀 神经网络1、不可解释，内部使用，预测精度较高。...其次，神经也可以作为申请信用评分的金模型。 金模型的使用：一般会先做一个神经网络，让预测精度（AUC）达到最大时，再用逻辑回归。...建模大致流程： 一批训练集+测试集+一批字段——神经网络建模看AUC——如果额定的AUC在85%，没超过则返回重新筛选训练、测试集以及字段； 超过则，可以后续做逻辑回归。...正确率=（A+D）/（A+B+C+D） 灵敏度（覆盖率、召回率）=A/(A+B) 命中率（PV+）=A/(A+C) 特异度（负灵敏度、负覆盖率）=D/(C+D) 负命中率（PV-）=D/(D+B) 在以上几个指标中不同行业看中不同的指标...AUC值，为了更好的衡量ROC所表达结果的好坏，Area Under Curve（AUC）被提了出来，简单来说就是曲线右下角部分占正方形格子的面积比例。该比例代表着分类器预测精度。
笔者寄语：分类器算法最后都会有一个预测精度，而预测精度都会写一个混淆矩阵，所有的训练数据都会落入这个矩阵中，而对角线上的数字代表了预测正确的数目，即True Positive+True Nagetive...—————————————————————————— 笔者觉得在性能评价上有两个分支： TPR-TNR，后续接AUC值/ROC曲线； 召回率-正确率，接F1值曲线，再接mAP曲线（召回-准确曲线） 本节部分参考...该比例代表着分类器预测精度。...所以，在两者都要求高的情况下，可以用F1来衡量。 1. F1 = 2 * P * R / (P + R) 公式基本上就是这样，但是如何算图1中的A、B、C、D呢？...auc.polygon.col="skyblue", print.thres=TRUE) —————————————————————————————————————————————— 笔者在操作的时候出现以下的问题
也就是说，在100张照片识别结果中，模型总共给出了50个电动车的目标，但这50个目标当中只有40个是识别正确的，则精度为： P=40/50=0.8 因此，精度即为识别目标正确的比例。...则召回率为： R=40/60=0.67 在一定意义上来说，召回率也可以说是“找回率”，也就是在实际的60个目标中，找回了40个，找回的比例即为：40/60。...同时，召回率也即查全率，即在实际的60个目标中，有没有查找完全，查找到的比率是多少。 从公式可以看出，精度与召回率都与TP值紧密相关，TP值越大，精度、召回率就越高。...但同时，计算得出模型识别结果的错误率E也很高，高达91%，所以这个模型性能也很低，基本不可靠。 5 精度-召回率曲线（PR曲线） 实际中，精度与召回率是相互影响的。...性能优的模型应是在召回率（R）增长的同时保持精度（P）值都在一个较高的水平，而性能较低的模型往往需要牺牲很多P值才能换来R值的提高。
那么，在同样的FPR=0.23的情况下，红色分类器得到更高的TPR。也就表明，ROC越往上，分类器效果越好。...一个具有 1.0 的精度，而召回率为 0 的分类器，这两个指标的算术平均是 0.5，但是 F1 score 会是 0。...F1 score 给了精度和召回率相同的权重，它是通用 Fβ指标的一个特殊情况，在 Fβ中，β 可以用来给召回率和精度更多或者更少的权重。...例如，推荐系统中，如果希望更精准的了解客户需求，避免推送用户不感兴趣的内容，precision 就更加重要；在疾病检测的时候，我们不希望查漏任何一项疾病，这时 recall（TPR） 就更重要。...真实世界中的数据经常会面临 class imbalance 问题，即正负样本比例失衡，而且测试数据中的正负样本的分布也可能随着时间变化。
叶子的数量 流失模式识别 2、树的结构不稳定，可以得出变量重要性，可以作为变量筛选 随机森林 随机森林比决策树在变量筛选中，变量排序比较优秀 神经网络 1、不可解释，内部使用，预测精度较高。...其次，神经也可以作为申请信用评分的金模型。 金模型的使用：一般会先做一个神经网络，让预测精度（AUC）达到最大时，再用逻辑回归。...建模大致流程： 一批训练集+测试集+一批字段——神经网络建模看AUC——如果额定的AUC在85%，没超过则返回重新筛选训练、测试集以及字段； 超过则，可以后续做逻辑回归。...（A+D）/（A+B+C+D） 灵敏度（覆盖率、召回率）=A/(A+B) 命中率（PV+）=A/(A+C) 特异度（负灵敏度、负覆盖率）=D/(C+D) 负命中率（PV-）=D/(D+B) 在以上几个指标中不同行业看中不同的指标...AUC值，为了更好的衡量ROC所表达结果的好坏，Area Under Curve（AUC）被提了出来，简单来说就是曲线右下角部分占正方形格子的面积比例。该比例代表着分类器预测精度。
其中精度是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率；召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率。 .../ 提取出的信息条数 Recall = 提取出的正确信息条数 / 样本中的信息条数 为了能够评价不同算法的优劣，在Precision和Recall的基础上提出了F1值的概念，来对Precision...因此在不同的场合中需要自己判断希望Precision比较高或是Recall比较高。如果是做实验研究，可以绘制Precision-Recall曲线来帮助分析。...引入 ROC 曲线的动原因 Motivation1：在一个二分类模型中，对于所得到的连续结果，假设已确定一个阀值，比如说 0.6，大于这个值的实例划归为正类，小于这个值则划到负类中。...AUC 的计算 第一种方法:AUC为ROC曲线下的面积,那我们直接计算面积可得。面积为一个个小的梯形面积之和。计算的精度与阈值的精度有关。
ROC曲线和曲线下面积AUC被广泛用于评估二元分类器的性能。但是有时，基于精确召回曲线下面积 (AUPRC) 的测量来评估不平衡数据的分类却更为合适。...本文将详细比较这两种测量方法，并说明在AUPRC数据不平衡的情况下衡量性能时的优势。 预备知识——计算曲线 我假设您熟悉准确率和召回率以及混淆矩阵的元素（TP、FN、FP、TN）这些基本知识。...在 sklearn 中，我们可以使用 sklearn.metrics.roc_auc_score 和 sklearn.metrics.average_precision_score。...比较 ROC-AUC 和 AUPRC 让我们直接跳到结果，然后讨论实验。 在图 3 中（下图），我们看到两个强大的模型（高 AUC），它们的 AUC 分数差异很小，橙色模型略好一些。...相比之下，我们的模型在 100 个示例中已经实现了 80% 的召回率，召回率几乎没有提高空间，这会导致 AUC 很高。
领取专属 10元无门槛券
手把手带您无忧上云
