专栏首页大龄程序员的人工智能之路聊一聊rank-1和rank-5准确度

聊一聊rank-1和rank-5准确度

在我们看来,计算机就是一台严丝合缝、精密运转的机器,严格按照程序员下达的指令工作。虽然产品上线之后经常碰到迷之问题,但我们通常会检讨程序设计得不够完美,而不会认为这是理所当然。因为我们相信只要程序设计严谨,将各种意外情况考虑在内,就会消除这种不确定问题。

然而到了机器学习,特别是深度学习,很多结果都是以概率的形式提供的。就拿图片分类来说,通常模型预测出图片属于每个类别的概率,而不是直接给出一个确定的结果。这就如同天气预报员预报明天的天气:晴天的概率多少多少,下雨的概率多少多少。估计如果这样预报天气,很多人会抓狂。问题是,天气预报说明天是晴天,明天就一定是晴天吗?这其实仍然是一个概率问题。虽然我们掌握了足够的气象资料,天气预报也越来越准确,但是我们依然无法保证每次都是准确的。

既然在深度学习中分类问题是各类别的概率,我们很容易选择一种策略:某个类别的概率最高,我们就认为预测结果属于哪种类别。比如下面这张蛙的图片:

使用CIFAR-10数据集训练出的模型进行推断,各个类别的概率如下:

其中,Frog类别的概率最大,我们就认为这张图片所属的类别为Frog。

计算模型准确度的方法也非常简单:

  • 步骤#1:计算数据集中每个输入图像的类别标签的概率。
  • 步骤#2:确定真实标签是否等于具有最大概率的预测类别标签。
  • 步骤#3:计算步骤#2为真的次数,然后除以总的测试图片数量。

这种度量也称之为rank-1准确度,这也是一种非常直观的度量方式。然而,最近几乎所有在ImageNet数据集上评估的机器学习模型的论文都不仅给出了rank-1准确度,还给出了rank-5准确度。

顾名思义,rank-5准确度选取5个最大概率的类别,只要这5个类别中的一个和真实标签相同,该预测结果就为真。rank-5准确度的计算方法如下:

  • 步骤#1:计算数据集中每个输入图像的类别标签的概率。
  • 步骤#2:按降序对预测的类别标签概率进行排序。
  • 步骤#3:确定真实标签是否存在于步骤#2的前5个预测标签中。
  • 步骤#4:计算步骤#3为真的次数,然后除以总的测试图片数量。

rank-1和rank-5的代码实现也非常简单:

def rank5_accuracy(preds, labels):
 # initialize the rank-1 and rank-5 accuracies
 rank1 = 0
 rank5 = 0 # loop over the predictions and ground-truth labels
 for (p, gt) in zip(preds, labels):
   # sort the probabilities by their index in descending
   # order so that the more confident guesses are at the
   # front of the list
   p = np.argsort(p)[::-1]   if gt in p[:5]:
     rank5 += 1   if gt == p[0]:
     rank1 +=1 # compute the final rank-1 and rank-5 accuracies
 rank1 /= float(len(labels))
 rank5 /= float(len(labels)) return (rank1, rank5)

有朋友可能会觉得,这个机器学习也太不靠谱了吧!不能给出一个精确的结果也就算了,还给出5个模凌两可的答案。在CIFAR-10这样的小数据集上,因为总的类别很少,如果还统计rank-5准确率,的确有点傻,但是考虑到ImageNet这样超大规模的数据集,其类别有成千上万个,特别是某些较小的类目,比如如下两张图片:

普通人也很难分辨出其类别不同。所以在某些大型图片分类模型任务中,rank-5准确率可以提供一个对rank-1准确率的一个补充。

理想情况下,rank-1准确度将与rank-5准确度同步增加,但是在具有挑战性的数据集上,情况并非总是如此。因此,我们还会检查rank-5的准确度,以确保我们的网络在rank-1准确度停滞不前时仍然在“学习”。

以上实例均有完整的代码,点击阅读原文,跳转到我在github上建的示例代码。

另外,我在阅读《Deep Learning for Computer Vision with Python》这本书,在微信公众号后台回复“计算机视觉”关键字,可以免费下载这本书的电子版。

本文分享自微信公众号 - 云水木石(ourpoeticlife),作者:陈正勇

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-01-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 详解国密SSL ECC_SM4_SM3套件

    国密算法最好的应用场景应该是SSL/TLS通信,然而国密文档中并没有单独规范SSL/TLS协议,我们能参考的只有《GM/T 0024-2014 SSL VPN ...

    云水木石
  • [机器学习实战札记] 朴素贝叶斯

    《概率论》(当年我学习的课程为《概率论与数理统计》,涵盖了概率论与统计学)应该是每个理工科大学生都要学习的课程,不知道有多少同学和我一样,学得一头雾水。悲催的是...

    云水木石
  • 启用Docker虚拟机GPU,加速深度学习

    首先说一下Docker虚拟机。为什么需要虚拟机?不知道你是否有过这样的经历,在github上看到一个有趣的开源项目,把代码下载下来,按照项目上的说明编译运行,结...

    云水木石
  • 【swoole】如何在docker+swoole环境下测试udp服务

    前面几篇文章讲了使用 docker+swoole 环境来测试tcp服务以及如何测试,但是当我开始学习udp服务那块的时候,发现使用原来的方式在 docker+s...

    码缘
  • Rainbond 5.1.7 发布,应用展示清晰透明,优化应用排错

    2019年9月08日,Rainbond发布5.1.7版本,本次版本更新带来了全新的服务以及实例的状态控制和UI可视化,服务运行后台事件实时反馈,使开发者更容易掌...

    Rainbond开源
  • sparksql比hivesql优化的点(窗口函数)

    有时候,一个 select 语句中包含多个窗口函数,它们的窗口定义(OVER 子句)可能相同、也可能不同。

    数据仓库践行者
  • 为Xcode添加从网上下载的其他模拟器

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010105969/article/de...

    用户1451823
  • 嫌Terminal终端太单调?快收下这几个有趣的改造工具!

    【导语】Terminal(终端)是程序员常用的工具之一,常用于系统的相关配置修改。系统自带的 terminal 较为简单,很多 Github 的开源项目都尝试对...

    AI科技大本营
  • 深度学习环境搭建:window10+CUDA10.0+CUDNN+pytorch1.2.0

    Visual Studio 2017 Community下载地址 安装选项:勾选“C++的桌面开发”,右边的列表再额外勾选一个SDK,这个SDK是在后续测试C...

    程序员一一涤生
  • python图形用户界面(六):可视化给图片添加上文字

    本系列课程是针对无基础的,争取用简单明了的语言来讲解,学习前需要具备基本的电脑操作能力,准备一个已安装python环境的电脑。如果觉得好可以分享转发,有问题的地...

    用户7054460

扫码关注云+社区

领取腾讯云代金券