9. 优化指标和满足指标

9 优化指标和满足指标

这里有组合多个评价指标的另一个方法。 假设你同时关系算法的精度和运行时间。你需要在如下分类器中进行选择:

分类器 精度 运行时间

A 90% 80ms

B 92% 95ms

C 95% 1,500ms

如果将精度和运行时间按照下面的公式进行组合可能看起来不太自然:

精度 – 0.5*运行时间

你可以这样做:首先定义一个可接受(acceptable)的运行时间。例如任何运行时间在100ms内都是可以接受的。然后再在满足运行时间要求的分类器中选择精度最高的。在这里运行时间就是一个“满足指标(satisficing metric)”,你的分类器只要在这个指标上表现的足够好即可,这意味着你的算法最多耗时100ms,而准确率是一个“优化指标(optimizing metric)”。 如果你正在权衡N个不同的标准,比如模型文件的大小(这对移动APP很重要,因为大多数用户都不想下载过大的APP)、运行时间和准确率。你可以考虑将其中N-1个标准设置为“满足指标”,然后将最后一个指标定义为“优化指标”。如,你将模型文件的大小,和运行时间设置为一个可接受的阈值,然后在这些约束下不断优化你的算法准确度。 在最后一个例子中,假设你正在构建一个硬件设备,该设备使用麦克风监听用户说出的某个词作为特定的“唤醒词语(wakeword)”,从而唤醒系统。例如:Amazon Echo监听“Alexa”;苹果Siri监听“Hey Siri”;Android监听“Okay Google”;百度app监听“Hello Baidu”。你同时关心假正例的比例(the false positive rate)——当没有人说出唤醒词系统唤醒的频率, 和假反例的比例(the false negative rate)——有人说出唤醒词但是系统没有唤醒的频率。 该系统性能的一个合理目标是最大限度的减少误报率(优化指标),同时满足每24个小时操作不会出现一个假正例(满足指标)。 一旦你的团队按照评估指标进行优化,那你们肯定可以更快的取得进展。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器人网

[学习}28 款 GitHub 最流行的开源机器学习项目

现在机器学习逐渐成为行业热门,经过二十几年的发展,机器学习目前也有了十分广泛的应用,如:数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊...

42980
来自专栏吉浦迅科技

【讲座】在NVIDIA Jetson上从Tensorflow到TensorRT

NVIDIA在太平洋时间3月8日上午11:00-12:00(北京时间3月9日凌晨3:00-4:00)举办了主题为“AI at the Edge: TensorF...

63560
来自专栏腾讯大讲堂的专栏

如何节省1T图片带宽?解密极致图像压缩

图像已经发展成人类沟通的视觉语言。无论传统互联网还是移动互联网,图像一直占据着很大部分的流量。如何在保证视觉体验的情况下减少数据流量消耗,一直是图像处理领域研究...

57780
来自专栏携程技术中心

干货 | 去哪儿酒店算法服务平台

作者简介 张中原,2011年加入去哪儿网,先后从事交易系统、酒店数据、公司基础平台与组件、存储和监控等相关工作,曾长期担任应届生技术培训和指导。 最近几年时间,...

458100
来自专栏AI科技评论

深度 | 基于移动设备的机器学习,本地与云端孰优孰劣?

AI科技评论按:如果您觉得,是时候给自己的手机应用添加一些热门的机器学习或深度学习算法.....这是个好想法!但您会怎么选择?致力于提供算法服务及小白科普的咨询...

34960
来自专栏大数据

用R语言进行文本挖掘和主题建模

我们每天都会遇到各种各样的文本数据 - 但大部分是非结构化的,并不是全部都是有价值的。请继续阅读以了解文本挖掘如何提供帮助。

43410
来自专栏应兆康的专栏

9. 优化指标和满足指标

这里有组合多个评价指标的另一个方法。 假设你同时关系算法的精度和运行时间。你需要在如下分类器中进行选择:

387120
来自专栏挖掘大数据

如何利用已有的大数据技术,搭建机器学习平台

人脑具备不断积累经验的能力,依赖经验我们便具备了分析处理的能力,比如我们要去菜场挑一个西瓜,别人或者自己的经验告诉我们色泽青绿、根蒂蜷缩、纹路清晰、敲声浑响的西...

67500
来自专栏量子位

搞自动驾驶汽车很复杂?其实一个浏览器就行(讲解、代码全都有)

作者:janhuenermann 编译:量子位(QbitAI) · 问耕 自动驾驶高大上?其实在浏览器里也能玩。 上面那个视频是一个2D环境下的无人驾驶系统,...

33250
来自专栏ATYUN订阅号

TensorFlow工程师分享了TensorFlow Serving最近的创新进展

近日,Tesorflow软件工程师Noah Fiedel通过本文描述了机器学习模型TensorFlow Serving最近的一些创新进展 ? TensorFlo...

47630

扫码关注云+社区

领取腾讯云代金券