9. 优化指标和满足指标

9 优化指标和满足指标

这里有组合多个评价指标的另一个方法。 假设你同时关系算法的精度和运行时间。你需要在如下分类器中进行选择:

分类器 精度 运行时间

A 90% 80ms

B 92% 95ms

C 95% 1,500ms

如果将精度和运行时间按照下面的公式进行组合可能看起来不太自然:

精度 – 0.5*运行时间

你可以这样做:首先定义一个可接受(acceptable)的运行时间。例如任何运行时间在100ms内都是可以接受的。然后再在满足运行时间要求的分类器中选择精度最高的。在这里运行时间就是一个“满足指标(satisficing metric)”,你的分类器只要在这个指标上表现的足够好即可,这意味着你的算法最多耗时100ms,而准确率是一个“优化指标(optimizing metric)”。 如果你正在权衡N个不同的标准,比如模型文件的大小(这对移动APP很重要,因为大多数用户都不想下载过大的APP)、运行时间和准确率。你可以考虑将其中N-1个标准设置为“满足指标”,然后将最后一个指标定义为“优化指标”。如,你将模型文件的大小,和运行时间设置为一个可接受的阈值,然后在这些约束下不断优化你的算法准确度。 在最后一个例子中,假设你正在构建一个硬件设备,该设备使用麦克风监听用户说出的某个词作为特定的“唤醒词语(wakeword)”,从而唤醒系统。例如:Amazon Echo监听“Alexa”;苹果Siri监听“Hey Siri”;Android监听“Okay Google”;百度app监听“Hello Baidu”。你同时关心假正例的比例(the false positive rate)——当没有人说出唤醒词系统唤醒的频率, 和假反例的比例(the false negative rate)——有人说出唤醒词但是系统没有唤醒的频率。 该系统性能的一个合理目标是最大限度的减少误报率(优化指标),同时满足每24个小时操作不会出现一个假正例(满足指标)。 一旦你的团队按照评估指标进行优化,那你们肯定可以更快的取得进展。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数说工作室

logistic回归建模指南

昨天的logistic回归:从生产到使用【上:使用篇】(在微信公众号“数说工作室”中回复“logit1”查看),有不少数说网友们建议把最后的建模指南图单独发一下...

3428
来自专栏量子位

谷歌终于推出TensorFlow Lite,实现在移动设备端部署AI

安妮 编译整理 量子位 出品 | 公众号 QbitAI 还得从半年前说起。 今年5月的谷歌I/O大会上,安卓工程副总裁Dave Burke宣布将推出一个专门为移...

3149
来自专栏大数据

用R语言进行文本挖掘和主题建模

我们每天都会遇到各种各样的文本数据 - 但大部分是非结构化的,并不是全部都是有价值的。请继续阅读以了解文本挖掘如何提供帮助。

3701
来自专栏机器之心

业界 | Apache MXNet 发布 v0.11.0版,支持苹果Core ML和Keras v1.2

选自AWS 机器之心编译 参与:黄小天、路雪 近日,孵化于 Apache 软件基金会 Apache MXNet 发布了 v0.11.0 最终测试版本,它不仅具有...

32213
来自专栏达观数据

【经验分享】点击模型:达观数据提升算法精度的利器

? 在搜索、推荐、广告引擎中,系统会通过复杂算法生成一个最终的结果列表。用户在看到这个结果列表时,未必都会对排序满意,比如有时觉得排序的顺序有问题,或者发现一...

49910
来自专栏吉浦迅科技

【讲座】在NVIDIA Jetson上从Tensorflow到TensorRT

NVIDIA在太平洋时间3月8日上午11:00-12:00(北京时间3月9日凌晨3:00-4:00)举办了主题为“AI at the Edge: TensorF...

5656
来自专栏腾讯技术工程官方号的专栏

如何节省 1TB 图片带宽?解密极致图像压缩

在不断出现的新格式被逐步应用之后,兼容性最好的传统老格式 JPEG 依然地位高居不下占据大幅带宽,如何在老格式上也继续挖掘优化点?

75010
来自专栏应兆康的专栏

9. 优化指标和满足指标

这里有组合多个评价指标的另一个方法。 假设你同时关系算法的精度和运行时间。你需要在如下分类器中进行选择:

37712
来自专栏目标检测和深度学习

资源 | Texture:一个优雅的开源学术论文书写工具

机器之心整理 作者:思源 近日,Substance 在 GitHub 上开源了一个用于结构文本的文字处理工具 Texture,他们表示该工具像 LaTeX 一样...

37210
来自专栏量子位

搞自动驾驶汽车很复杂?其实一个浏览器就行(讲解、代码全都有)

作者:janhuenermann 编译:量子位(QbitAI) · 问耕 自动驾驶高大上?其实在浏览器里也能玩。 上面那个视频是一个2D环境下的无人驾驶系统,...

3015

扫码关注云+社区