9. 优化指标和满足指标

9 优化指标和满足指标

这里有组合多个评价指标的另一个方法。 假设你同时关系算法的精度和运行时间。你需要在如下分类器中进行选择:

分类器 精度 运行时间

A 90% 80ms

B 92% 95ms

C 95% 1,500ms

如果将精度和运行时间按照下面的公式进行组合可能看起来不太自然:

精度 – 0.5*运行时间

你可以这样做:首先定义一个可接受(acceptable)的运行时间。例如任何运行时间在100ms内都是可以接受的。然后再在满足运行时间要求的分类器中选择精度最高的。在这里运行时间就是一个“满足指标(satisficing metric)”,你的分类器只要在这个指标上表现的足够好即可,这意味着你的算法最多耗时100ms,而准确率是一个“优化指标(optimizing metric)”。 如果你正在权衡N个不同的标准,比如模型文件的大小(这对移动APP很重要,因为大多数用户都不想下载过大的APP)、运行时间和准确率。你可以考虑将其中N-1个标准设置为“满足指标”,然后将最后一个指标定义为“优化指标”。如,你将模型文件的大小,和运行时间设置为一个可接受的阈值,然后在这些约束下不断优化你的算法准确度。 在最后一个例子中,假设你正在构建一个硬件设备,该设备使用麦克风监听用户说出的某个词作为特定的“唤醒词语(wakeword)”,从而唤醒系统。例如:Amazon Echo监听“Alexa”;苹果Siri监听“Hey Siri”;Android监听“Okay Google”;百度app监听“Hello Baidu”。你同时关心假正例的比例(the false positive rate)——当没有人说出唤醒词系统唤醒的频率, 和假反例的比例(the false negative rate)——有人说出唤醒词但是系统没有唤醒的频率。 该系统性能的一个合理目标是最大限度的减少误报率(优化指标),同时满足每24个小时操作不会出现一个假正例(满足指标)。 一旦你的团队按照评估指标进行优化,那你们肯定可以更快的取得进展。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

TensorFlow工程师分享了TensorFlow Serving最近的创新进展

近日,Tesorflow软件工程师Noah Fiedel通过本文描述了机器学习模型TensorFlow Serving最近的一些创新进展 ? TensorFlo...

4403
来自专栏腾讯大讲堂的专栏

如何节省1T图片带宽?解密极致图像压缩

图像已经发展成人类沟通的视觉语言。无论传统互联网还是移动互联网,图像一直占据着很大部分的流量。如何在保证视觉体验的情况下减少数据流量消耗,一直是图像处理领域研究...

5138
来自专栏人工智能头条

用机器学习怎样鉴别不可描述的网站

前两天教师节,人工智能头条的某个精神股东粉群里,大家纷纷向当年为我们启蒙、给我们带来快乐的老师们表达感激之情。

1482
来自专栏量子位

搞自动驾驶汽车很复杂?其实一个浏览器就行(讲解、代码全都有)

作者:janhuenermann 编译:量子位(QbitAI) · 问耕 自动驾驶高大上?其实在浏览器里也能玩。 上面那个视频是一个2D环境下的无人驾驶系统,...

3145
来自专栏吉浦迅科技

【讲座】在NVIDIA Jetson上从Tensorflow到TensorRT

NVIDIA在太平洋时间3月8日上午11:00-12:00(北京时间3月9日凌晨3:00-4:00)举办了主题为“AI at the Edge: TensorF...

6006
来自专栏挖掘大数据

如何利用已有的大数据技术,搭建机器学习平台

人脑具备不断积累经验的能力,依赖经验我们便具备了分析处理的能力,比如我们要去菜场挑一个西瓜,别人或者自己的经验告诉我们色泽青绿、根蒂蜷缩、纹路清晰、敲声浑响的西...

6250
来自专栏量子位

谷歌终于推出TensorFlow Lite,实现在移动设备端部署AI

安妮 编译整理 量子位 出品 | 公众号 QbitAI 还得从半年前说起。 今年5月的谷歌I/O大会上,安卓工程副总裁Dave Burke宣布将推出一个专门为移...

3209
来自专栏AI科技评论

深度 | 基于移动设备的机器学习,本地与云端孰优孰劣?

AI科技评论按:如果您觉得,是时候给自己的手机应用添加一些热门的机器学习或深度学习算法.....这是个好想法!但您会怎么选择?致力于提供算法服务及小白科普的咨询...

3246
来自专栏机器之心

业界 | Apache MXNet 发布 v0.11.0版,支持苹果Core ML和Keras v1.2

选自AWS 机器之心编译 参与:黄小天、路雪 近日,孵化于 Apache 软件基金会 Apache MXNet 发布了 v0.11.0 最终测试版本,它不仅具有...

32713
来自专栏达观数据

【经验分享】点击模型:达观数据提升算法精度的利器

? 在搜索、推荐、广告引擎中,系统会通过复杂算法生成一个最终的结果列表。用户在看到这个结果列表时,未必都会对排序满意,比如有时觉得排序的顺序有问题,或者发现一...

52810

扫码关注云+社区

领取腾讯云代金券