建立一个单一数字的评估指标

8 建立一个单一数字的评估指标

分类准确率是单一数字评估指标(single-number evaluation metric)的示例:你在你的开发集(或测试集)上运行你的分类器,然后得到样本分类正确的比例(fraction)(单个数字),根据这个指标,如果分类器A的准确率为97%,分类器B的准确率为90%,那么我们认为分类器A更好。 相比之下,精度(查准率)(Precision)和召回率(查全率)(Recall)[3]就不是一个单一数字的评估指标:它给出两个数字来评估分类器。拥有多个评估指标使得算法之间的比较更加困难,假设你的算法表现如下:

分类器 精度 召回率

A 95% 90%

B 98% 85%

如上所示,这两个分类器的性能差不多,这就导致我们无法轻松的选择最好的那个。 在开发期间,你的团队会尝试大量关于算法架构,参数调整,特征选择等方面的想法。使用单一数字评估指标(如精度)使得你可以根据其在该指标上的表现快速对所有模型进行排序,从而绝对哪一个最好。 如果你真的即关心精度也关心召回率,我推荐你使用一个标准方法来把他们组合成一个单一的数字。例如你可以使用它们的平均值。或者你可以计算F1值(F1 score),这是一种基于平均值改善的方法,比简单的取平均值的效果要好。[4]

分类器 精度 召回率 F1值

A 95% 90% 92.4%

B 98% 85% 91.0%

当你面对大量的分类器时,使用单一数字评估更加方便和快速的让你选择出最好的分类器。 在最后一个例子中,假如你得到了分别在四个主要市场((1)美国,(2)中国,(3)印度和(4)其他地区)猫咪分类器的准确率。这里提供了四个指标。通过对这四个数据进行平均或加权平均,最终得到一个单一数字度量。取平均值或加权平均值是合并多个指标的常见方法之一。

[3]猫咪分类器的精度是指在开发集(或测试集)中检测出所有猫咪图片中有多少比例是真正的含有猫咪。它的召回率是指在开发集(或测试集)中所有真正的猫咪图片中有多少比例被检测出来了。在高精度和高召回率之间通常是权衡的。 [4]如果你想了解更多关于F1值的信息,请见: https://en.wikipedia.org/wiki/F1_score 它是 基于精度和召回率的“几何平均(geometric mean)”定义的,计算公式为: 2/((1/精度)+(1/召回率)).

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

1.深度学习概念简介

简介 1. 什么是神经网络? 1.1 单个神经元网络 ? 如上图所示,我们想通过房子的面积来预测房子的价格。用单个神经网络来解决这个问题如下所示: ? 输入x为...

29280
来自专栏应兆康的专栏

8. 建立一个单一数字的评估指标

分类准确率是单一数字评估指标(single-number evaluation metric)的示例:你在你的开发集(或测试集)上运行你的分类器,然后得到样本分...

318100
来自专栏Jayden的专栏

推荐算法

在实践中,大多数业内人士都是用一种被称为「随机梯度下降」(SGD - Stochastic Gradient Descent)的算法(梯度下降Grident D...

16200
来自专栏应兆康的专栏

23. 处理偏差和方差

13460
来自专栏机器之心

学界 | DeepMind提出对比预测编码,通过预测未来学习高级表征

作者:Aaron van den Oord、Yazhe Li、Oriol Vinyals

12440
来自专栏新智元

【深度森林第三弹】周志华等提出梯度提升决策树再胜DNN

12920
来自专栏专知

【重温经典】吴恩达机器学习课程学习笔记七:Logistic回归

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专...

53590
来自专栏AI派

BAT机器学习/深度学习面试300题

机器学习这么火,BAT等一线互联网大厂当然是最大的需求方,想要成为 BAT 的机器学习工程师吗,快来看看这些面试题吧。

62290
来自专栏mwangblog

蚁群算法解决旅行商(TSP)问题

在更新信息素的过程中,只有最优路线上的信息素会进行增加操作,且不能超过信息素最大值。

45030
来自专栏AI研习社

Github 推荐项目 | 微软发布 1.25 亿美国建筑足迹开放数据

该数据集包括美国 50 个州 124,885,597 个计算机生成的建筑物覆盖区,并且该数据可以免费下载和使用。

17330

扫码关注云+社区

领取腾讯云代金券