文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

精度是远远不够的：如何最好地评估一个分类器？

分类模型（分类器）是一种有监督的机器学习模型，其中目标变量是离散的（即类别）。评估一个机器学习模型和建立模型一样重要。...在这篇文章中，我会做详细的介绍，说明如何评估一个分类器，包括用于评估模型的一系列不同指标及其优缺点。...） 敏感性与特异性（Sensitivity & specificity） ROC曲线与AUC（ROC curve & AUC） 分类精度（Classification Accuracy） 分类精度显示了我们所做的预测中有多少是正确的...在很多情况下，它表示了一个模型的表现有多好，但在某些情况下，精度是远远不够的。例如，93%的分类精度意味着我们正确预测了100个样本中的93个。在不知道任务细节的情况下，这似乎是可以接受的。...它测量的是被正确预测出来的负类占全部负类的比例。 ? ROC曲线与AUC（ROC curve & AUC） ROC曲线（受试者操作特性曲线）和AUC（曲线下面积）这两个指标最好用逻辑回归实例来解释。

1.4K30

Python数据科学：决策树

在建树步骤中，首先选择最有解释力度的变量，接着对每个变量选择最优的分割点进行剪树。 剪树，去掉决策树中噪音或异常数据，在损失一定预测精度的情况下，能够控制决策树的复杂度，提高其泛化能力。...后剪枝用于删除没有意义的分组，常用方法有计算结点中目标变量预测精度或误差、综合考虑误差与复杂度进行剪树。 此外在ID3算法中，使用信息增益挑选最有解释力度的变量。...计算模型在不同阈值下的灵敏度和特异度指标，绘制ROC曲线。...(test_target, test_est_p)) ROC曲线图如下，其中训练集的ROC曲线(实线)与测试集的ROC曲线(虚线)很接近，说明模型没有过拟合。...模型的ROC曲线下面积为0.7358，模型效果一般。

80520
您找到你想要的搜索结果了吗？
是的
没有找到

万字长文总结机器学习的模型评估与调参，附代码下载

如何评估它，用什么数据来评估它，成为了模型评估需要重点考虑的问题。 我们常规做法，就是将数据集划分为3部分，分别是训练、测试和验证，彼此之间的数据不重叠。...SVM分类器的预测准确率代码实现： gs = GridSearchCV(estimator=pipe_svc, param_grid=param_grid,...ROC曲线概念： ROC(receiver operating characteristic)接受者操作特征，其显示的是分类器的真正率和假正率之间的关系，如下图所示： ?...ROC曲线有助于比较不同分类器的相对性能，其曲线下方的面积为AUC(area under curve)，其面积越大则分类的性能越好，理想的分类器auc=1。...ROC曲线绘制： 对于一个特定的分类器和测试数据集，显然只能得到一个分类结果，即一组FPR和TPR结果，而要得到一个曲线，我们实际上需要一系列FPR和TPR的值。 那么如何处理？

86040

万字长文总结机器学习的模型评估与调参，附代码下载

如何评估它，用什么数据来评估它，成为了模型评估需要重点考虑的问题。 我们常规做法，就是将数据集划分为3部分，分别是训练、测试和验证，彼此之间的数据不重叠。...SVM分类器的预测准确率代码实现： gs = GridSearchCV(estimator=pipe_svc, param_grid=param_grid,...ROC曲线概念： ROC(receiver operating characteristic)接受者操作特征，其显示的是分类器的真正率和假正率之间的关系，如下图所示： ?...ROC曲线有助于比较不同分类器的相对性能，其曲线下方的面积为AUC(area under curve)，其面积越大则分类的性能越好，理想的分类器auc=1。...ROC曲线绘制： 对于一个特定的分类器和测试数据集，显然只能得到一个分类结果，即一组FPR和TPR结果，而要得到一个曲线，我们实际上需要一系列FPR和TPR的值。 那么如何处理？

1.1K20

万字长文总结机器学习的模型评估与调参

如何评估它，用什么数据来评估它，成为了模型评估需要重点考虑的问题。 我们常规做法，就是将数据集划分为3部分，分别是训练、测试和验证，彼此之间的数据不重叠。...SVM分类器的预测准确率代码实现： 1gs = GridSearchCV(estimator=pipe_svc, 2 param_grid=param_grid,...ROC曲线概念： ROC(receiver operating characteristic)接受者操作特征，其显示的是分类器的真正率和假正率之间的关系，如下图所示： ?...ROC曲线有助于比较不同分类器的相对性能，其曲线下方的面积为AUC(area under curve)，其面积越大则分类的性能越好，理想的分类器auc=1。...ROC曲线绘制： 对于一个特定的分类器和测试数据集，显然只能得到一个分类结果，即一组FPR和TPR结果，而要得到一个曲线，我们实际上需要一系列FPR和TPR的值。 那么如何处理？

80300

机器学习——决策树模型：Python实现

y_pred_proba[:,1] 2.2.3 模型预测及评估 在Python实现上，可以求出在不同阈值下的命中率（TPR）以及假警报率（FPR）的值，从而可以绘制ROC曲线。...# 网格搜索合适的超参数 # 指定参数k的范围 parameters = { 'max_depth': [3, 5, 7, 9, 11]} # 构建决策树分类器 model = DecisionTreeClassifier...() # 这里因为要进行参数调优，所以不需要传入固定的参数了 # 网格搜索 grid_search = GridSearchCV(model, parameters, scoring='roc_auc...', cv=5) # cv=5表示交叉验证5次，默认值为3；scoring='roc_auc'表示通过ROC曲线的AUC值来进行评分，默认通过准确度评分 grid_search.fit(X_train...# 指定决策树分类器中各个参数的范围 parameters = { 'max_depth': [5, 7, 9, 11, 13], 'criterion':['gini', 'entropy'],

1.1K21

Wolfram 技术帮您通过咳嗽音来预测诊断新冠病毒

编码器的输出是大小为{ n，nc }的秩-2张量，其中n是应用预处理后的分区数，nc是用于计算的系数数： 我们可以看到音频如何被转换成代表音频倒谱（cepstral ）特征的矩阵。...这将是我们模型的输入。我们将建立一个定制的递归神经网络（RNN），针对该神经网络手动调整超参数，并在调整-培训-评估过程中对其进行迭代。...精度和召回率：精度是正确预测的阳性观察值与总预测阳性观察值的比率，而召回率是正确预测的阳性观察值与实际类别中所有观察值的比率（请参见下图中的示例）。...混淆矩阵图：使我们能够看到真实的正，真实的负，假的正和假的负的预测值。 ROC曲线：告诉我们模型如何准确地区分类别（请参见下图）。负分类曲线和正分类曲线之间的重叠度越大，ROC 曲线越差。...最佳ROC曲线将是一条曲线下面积（AUC）等于1的曲线。 让我们看一下模型的诊断参数： 我们还可以绘制应用于测试集的模型的混淆矩阵和ROC曲线： 总体而言，我们通过评估的指标获得了出色的性能。

90730

Machine Learning-模型评估与调参（完整版）

如何评估它，用什么数据来评估它，成为了模型评估需要重点考虑的问题。 我们常规做法，就是将数据集划分为3部分，分别是训练、测试和验证，彼此之间的数据不重叠。...SVM分类器的预测准确率代码实现： 1gs = GridSearchCV(estimator=pipe_svc, 2 param_grid=param_grid,...ROC曲线概念： ROC(receiver operating characteristic)接受者操作特征，其显示的是分类器的真正率和假正率之间的关系，如下图所示： ?...ROC曲线有助于比较不同分类器的相对性能，其曲线下方的面积为AUC(area under curve)，其面积越大则分类的性能越好，理想的分类器auc=1。...ROC曲线绘制： 对于一个特定的分类器和测试数据集，显然只能得到一个分类结果，即一组FPR和TPR结果，而要得到一个曲线，我们实际上需要一系列FPR和TPR的值。 那么如何处理？

1.4K10

西瓜书-性能度量

在上一篇中，我们解决了评估学习器泛化性能的方法，即用测试集的“测试误差”作为“泛化误差”的近似，当我们划分好训练/测试集后，那如何计算“测试误差”呢？...在分类任务中，即预测离散值的问题，最常用的是错误率和精度，错误率是分类错误的样本数占样本总数的比例，精度则是分类正确的样本数占样本总数的比例，易知：错误率+精度=1。 ? ?...P-R曲线如何评估呢？若一个学习器A的P-R曲线被另一个学习器B的P-R曲线完全包住，则称：B的性能优于A。若A和B的曲线发生了交叉，则谁的曲线下的面积大，谁的性能更优。...现实中的任务通常都是有限个测试样本，因此只能绘制出近似ROC曲线。绘制方法：首先根据测试样本的评估值对测试样本排序，接着按照以下规则进行绘制。 ?...；如此将ROC 曲线土的每个点转化为代价平面上的一条线段，然后取所有线段的下界，围成的面积即为在所有条件下学习器的期望总体代价，如图所示： ?

66510

【推荐收藏】模型评估与调参（Python版）

如何评估它，用什么数据来评估它，成为了模型评估需要重点考虑的问题。 我们常规做法，就是将数据集划分为3部分，分别是训练、测试和验证，彼此之间的数据不重叠。...SVM分类器的预测准确率代码实现： 1gs = GridSearchCV(estimator=pipe_svc, 2 param_grid=param_grid,...ROC曲线概念： ROC(receiver operating characteristic)接受者操作特征，其显示的是分类器的真正率和假正率之间的关系，如下图所示： ?...ROC曲线有助于比较不同分类器的相对性能，其曲线下方的面积为AUC(area under curve)，其面积越大则分类的性能越好，理想的分类器auc=1。...ROC曲线绘制： 对于一个特定的分类器和测试数据集，显然只能得到一个分类结果，即一组FPR和TPR结果，而要得到一个曲线，我们实际上需要一系列FPR和TPR的值。 那么如何处理？

1.8K32

【干货】不止准确率：为分类任务选择正确的机器学习度量指标（附代码实现）

本文就举例介绍了分类任务中的其他度量标准，首先介绍一些相关概念：精确度、召回率、F1分数、TRP和FPR等。另外包括两种可视化方法：混淆矩阵和ROC曲线。...这个想法相对简单：ROC曲线显示了在我们的模型在判别正样本时改变其阈值，召回率与精度的关系如何变化。阈值表示在正类中数据点被预测的值。...典型的ROC曲线如下所示： ? 黑色对角线表示随机分类器，红色和蓝色曲线表示两种不同的分类模型。对于一个给定的模型，我们只能保持在一条曲线上，但我们可以通过调整对正例分类的阈值来沿曲线移动。...我们将以0.1为增量评估阈值从0.0到1.0模型的性能，每一步计算ROC曲线上的精度，召回率，F1和在ROC曲线的位置。以下是每个阈值的分类结果： ?...曲线如下所示，并在点上方设置阈值。

2K70

一图胜千言！机器学习模型可视化！！

模型分析示例：使用 ROC 曲线和 ROC-AUC 指标比较三个不同的模型 ROC 曲线 在分析机器学习分类器和比较 ML 模型性能时，受试者工作特征曲线（简称 ROC 曲线）至关重要。...如果我们使用 np.random.rand（） 作为分类器，则生成的 ROC 曲线将是一条从 （0,0） 到 （1,1） 的对角线。...比较模型分析示例：随机分类器的 ROC 曲线是对角线的，因此 ROC-AUC 为 0.5。...以黄色显示的实际 ML 分类器的 ROC 曲线始终位于该线上方，ROC-AUC 为 0.78 |源 使用 scikit-learn 生成 ROC 曲线和计算 ROC-AUC 非常简单。...只需在模型训练脚本中编写几行代码，即可为每个训练运行创建此评估数据。使用 ML 实验跟踪工具记录 ROC-AUC 和 ROC 曲线图时，您可以稍后比较不同的模型版本。

33110

AI-逻辑回归模型

ROC曲线（Receiver Operating Characteristic Curve）：ROC曲线描绘了不同阈值下的真正例率和假正例率，用于评估模型在不同阈值下的表现。...在机器学习领域，ROC曲线和AUC指标广泛应用于模型选择和性能评估。...ROC曲线，全称为接收者操作特征曲线（Receiver Operating Characteristic Curve），是一种用于评估二分类模型性能的图形化工具。...ROC曲线上每个点反映了在不同判定阈值下，模型对正类和负类样本分类的能力。通过观察ROC曲线，我们可以直观地了解分类器在不同阈值下的性能表现。...绘制 ROC 曲线： 阈值：0.9 原本为正例的 1、3 号的样本中 3 号样本被分类错误，则 TPR = ½ = 0.5 原本为负例的 2、4、5、6 号样本没有一个被分为正例，则 FPR = 0 阈值

299148

Python数据科学：神经网络

策略是指如何设定最优化的目标函数，常见的目标函数有线性回归的残差平方和、逻辑回归的似然函数、SVM中的合页函数等。...02 单层感知器 感知器是一种具有单层计算单元的神经网络，只能用来解决线性可分的二分类问题。 无法运用到多层感知器中，无法确定隐藏层的期望输出。 它的结构类似之前的神经元模型。...本次数据中，教育等级和套餐类型是等级变量，性别等变量为二分类变量，这些都可以作为连续变量进行处理。 这也就意味着本次的数据集中不存在多分类名义变量，都可作为连续变量进行处理。...# 绘制ROC曲线 fpr_test, tpr_test, th_test = metrics.roc_curve(test_target, test_proba) fpr_train, tpr_train...(metrics.roc_auc_score(test_target, test_proba)) # 输出值为0.9149632415075206 ROC曲线图如下。

74710

入门 | 机器学习模型的衡量不止准确率：还有精度和召回率

这个思想是相当简单的：ROC 曲线展示了当改变在模型中识别为正例的阈值时，召回率和精度的关系会如何变化。...下图是一个典型的 ROC 曲线： ? 黑色对角线表示随机分类器，红色和蓝色曲线表示两种不同的分类模型。对于给定的模型，只能对应一条曲线。但是我们可以通过调整对正例进行分类的阈值来沿着曲线移动。...我们将以 0.1 为增量从 0.0 到 1.0 评估阈值，在每个步骤中计算 ROC 曲线上的精度、召回率、F1 score 以及在 ROC 曲线上的位置。以下是每个阈值的分类结果： ?...了解召回率、精度、F1 score 和 ROC 曲线使我们能够评估分类模型，并应使我们怀疑是否有人仅仅在吹捧模型的准确率，尤其是对于不平衡的问题。...正如我们所看到的，准确率（accuracy）并不能对几个关键问题提供有用的评估，但现在我们知道如何使用更聪明的衡量指标！

1.1K50

你知道这11个重要的机器学习模型评估指标吗?

概览 评估一个模型是建立一个有效的机器学习模型的核心部分 评价指标有混淆矩阵、交叉验证、AUC-ROC曲线等。...不同的评估指标用于不同类型的问题 介绍 建立机器学习模型的想法是基于一个建设性的反馈原则。你构建一个模型，从指标中获得反馈，进行改进，直到达到理想的精度为止。评估指标解释了模型的性能。...我们有一个二分类模型，结果如下: 精确率:0，召回率:1 这里取算术平均值，得到0。5。很明显，上面的结果来自于一个“傻瓜”的分类器，它忽略了输入，只选择其中一个类作为输出。...基尼系数(Gini Coefficient) 基尼系数有时用于分类问题。基尼系数可以从AUC ROC数得出。基尼系数只是ROC曲线与对角线之间的面积与对角线上三角形的面积之比。...它只是说，尝试留下一个样本集，不在这个样本集上训练模型，并在最终确定模型之前在该样本集上测试模型。 ? 上图显示了如何使用及时样本集验证模型。我们简单地将人口分成2个样本集，并在一个样本集上建立模型。

3K40

《机器学习》-- 第二章：模型评估与选择

2.2.4 调参与最终模型 2.3 性能度量 2.3.1 错误率与精度 2.3.2 查准率、查全率与F1（混淆矩阵） 2.3.3 ROC与AUC 2.3.4 代价敏感错误率与代价曲线 第二章 模型评估与选择...利用ROC曲线比较学习器的性能优劣 若一个学习器的ROC曲线被另一个学习器的曲线完全“包住” ，则可断言后者的性能优于前者 若两个学习器的ROC曲线发生交叉，则难以一般性地断言两者孰优孰劣，此时如果一定要进行比较...分别为上底和下底，更详细的解析可以参考南瓜书 AUC 指标用来评估分类器性能，可以兼顾样本中类别不平衡的情况（当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变），这一点上要比分类准确率更加具有参考价值...其中 FPR 是假正例率，FNR=1-TPR是假反例率，代价曲线的绘制很简单: ROC曲线上每一点对应了代价平面上的一条线段，设ROC曲线上点的坐标为(TPR, FPR)，则可相应计算出 FNR ，然后在代价平面上绘制一条从...(0, FPR) 到(1, FNR) 的线段，线段下的面积即表示了该条件下的期望总体代价；如此将ROC曲线上的每个点转化为代价平面上的一条线段，然后取所有线段的下界，围成的面积即为在所有条件下学习器的期望总体代价

90530

使用Scikit-learn实现分类（MNIST）

这证明了为什么精度通常来说不是一个好的性能度量指标，特别是当你处理有偏差的数据集，比方说其中一些类比其他类频繁得多。  3.2、混淆矩阵  对分类器来说，一个好得多的性能评估指标是混淆矩阵。...ROC 曲线  受试者工作特征（ROC）曲线是另一个二分类器常用的工具。...图中的点线是一个完全随机的分类器生成的 ROC 曲线；一个好的分类器的 ROC 曲线应该尽可能远离这条线（即向左上角方向靠拢）。  一个比较分类器之间优劣的方法是：测量ROC曲线下的面积（AUC）。..._5, y_scores))  结果如下：  0.9537859009183066  因为 ROC 曲线跟准确率/召回率曲线（或者叫 PR）很类似，你或许会好奇如何决定使用哪一个曲线呢？...一个笨拙的规则是，优先使用 PR 曲线当正例很少，或者当你关注假正例多于假反例的时候。其他情况使用 ROC 曲线。举例子，回顾前面的 ROC 曲线和 ROC AUC 数值，你或许人为这个分类器很棒。

1.4K00

贾尚文_roc指标详解及实战用法

文章目录 混淆矩阵 ROC AOU PRC F1-Score 多分类的F1-Score 选择指标 ROC 曲线和 AUC 常被用来评价一个 二值分类器 的优劣。...精确率和准确率是比较容易混淆的两个评估指标，两者是有区别的。精确率是一个二分类指标，而准确率能应用于多分类，其计算公式为： ROC 机器学习模型中，很多模型输出是预测概率。...如上，是三条ROC曲线，在0.23处取一条直线。那么，在同样的FPR=0.23的情况下，红色分类器得到更高的TPR。也就表明，ROC越往上，分类器效果越好。...AUC值为ROC曲线所覆盖的区域面积，显然，AUC越大，分类器分类效果越好。...AUC是一个数值，当仅仅看 ROC 曲线分辨不出哪个分类器的效果更好时，用这个数值来判断。 AUC值为ROC曲线所覆盖的区域面积，显然，AUC越大，分类器分类效果越好。

88440

分类的评价指标

精度，召回率，ROC曲线和F1得分概述 介绍 知道模型的准确性是必要的，但仅仅了解模型的性能水平还不够。因此，还有其他评估指标可帮助我们更好地了解模型的性能。...第一部分：精确度和召回率 在谈论精度和召回率之前，让我简要介绍一下什么是混淆矩阵。 混淆矩阵是表示评估二进制分类结果的最全面方法。下面是一个混淆矩阵的示例。 ?...回想率是另一个非常有用的度量标准，它使我们能够知道例如正确分类为正数的值在实际为正的总值中所占的比例。 ? 第二部分：接收器工作特性（ROC） 现在，假设您要比较误报率（FPR）和真报率（TPR）。...重要的是要知道，当我们使用不平衡的二进制分类数据集时，F1分数比准确度更好。 无论如何，我们可以从sklean指标中导入分类报告，该报告为我们提供了F1得分以及所有指标，例如精度和召回率。 ?...结论 在分类问题中，这些是最常用于评估模型性能的指标。因此，每次必须建立分类模型时，最好使用本文中介绍的指标来评估模型的性能。

68310
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券