8. 建立一个单一数字的评估指标

8 建立一个单一数字的评估指标

分类准确率是单一数字评估指标(single-number evaluation metric)的示例:你在你的开发集(或测试集)上运行你的分类器,然后得到样本分类正确的比例(fraction)(单个数字),根据这个指标,如果分类器A的准确率为97%,分类器B的准确率为90%,那么我们认为分类器A更好。 相比之下,精度(查准率)(Precision)和召回率(查全率)(Recall)[3]就不是一个单一数字的评估指标:它给出两个数字来评估分类器。拥有多个评估指标使得算法之间的比较更加困难,假设你的算法表现如下:

分类器 精度 召回率

A 95% 90%

B 98% 85%

如上所示,这两个分类器的性能差不多,这就导致我们无法轻松的选择最好的那个。 在开发期间,你的团队会尝试大量关于算法架构,参数调整,特征选择等方面的想法。使用单一数字评估指标(如精度)使得你可以根据其在该指标上的表现快速对所有模型进行排序,从而绝对哪一个最好。 如果你真的即关心精度也关心召回率,我推荐你使用一个标准方法来把他们组合成一个单一的数字。例如你可以使用它们的平均值。或者你可以计算F1值(F1 score),这是一种基于平均值改善的方法,比简单的取平均值的效果要好。[4]

分类器 精度 召回率 F1值

A 95% 90% 92.4%

B 98% 85% 91.0%

当你面对大量的分类器时,使用单一数字评估更加方便和快速的让你选择出最好的分类器。 在最后一个例子中,假如你得到了分别在四个主要市场((1)美国,(2)中国,(3)印度和(4)其他地区)猫咪分类器的准确率。这里提供了四个指标。通过对这四个数据进行平均或加权平均,最终得到一个单一数字度量。取平均值或加权平均值是合并多个指标的常见方法之一。

[3]猫咪分类器的精度是指在开发集(或测试集)中检测出所有猫咪图片中有多少比例是真正的含有猫咪。它的召回率是指在开发集(或测试集)中所有真正的猫咪图片中有多少比例被检测出来了。在高精度和高召回率之间通常是权衡的。 [4]如果你想了解更多关于F1值的信息,请见: https://en.wikipedia.org/wiki/F1_score 它是 基于精度和召回率的“几何平均(geometric mean)”定义的,计算公式为: 2/((1/精度)+(1/召回率)).

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏HaHack

机器学习的数学基础:向量篇

982
来自专栏人工智能头条

在实践中正确应用机器学习的12条法则

2494
来自专栏AI研习社

Github 推荐项目 | 微软发布 1.25 亿美国建筑足迹开放数据

该数据集包括美国 50 个州 124,885,597 个计算机生成的建筑物覆盖区,并且该数据可以免费下载和使用。

1643
来自专栏应兆康的专栏

23. 处理偏差和方差

1286
来自专栏机器之心

从浅层模型到深度模型:概览机器学习优化算法

选自arxiv 机器之心编译 参与:乾树、蒋思源 学习算法一直以来是机器学习能根据数据学到知识的核心技术。而好的优化算法可以大大提高学习速度,加快算法的收敛速度...

3877
来自专栏AI研习社

干货:图像比赛的通用套路有哪些?Kaggle比赛金牌团队为你解答

AI研习社按: Kaggle 是全世界首屈一指的数据科学、机器学习开发者社区和竞赛平台。日前,中山大学CIS实验室的研二学生刘思聪为我们带来了一场精彩的分享。他...

4066
来自专栏数据科学与人工智能

有监督学习和无监督学习

一般情况下,机器学习分为有监督学习和无监督学习。 ? 有监督学习 监督学习是指数据集的正确输出(right output)已知的情况下一类学习算法。因为输入和输...

3115
来自专栏奇点大数据

机器学习算法在自动驾驶汽车中扮演怎样的角色

随着电子控制单元传感器数据处理这项技术的继续发展,人们也越来越期待运用更优化的机器学习,来完成更多新挑战。未来的潜在应用场景包括:通过内外部传感器(包括激光雷达...

1401
来自专栏mwangblog

蚁群算法解决旅行商(TSP)问题

在更新信息素的过程中,只有最优路线上的信息素会进行增加操作,且不能超过信息素最大值。

3803
来自专栏专知

【重温经典】吴恩达机器学习课程学习笔记七:Logistic回归

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专...

4689

扫码关注云+社区

领取腾讯云代金券