SafePredict:使用拒绝机制保证正确率的机器学习元算法

选自arXiv

机器之心编译

参与:路雪、刘晓坤

SafePredict 是一种新型元算法,可以使用拒绝机制保证正确率,其错误界限不依赖于任何关于数据分布或基础预测器的假设。该算法与顶尖的基于置信度的拒绝机制相比更有优势,可以更鲁棒地保证正确率,并减少拒绝的数量。

论文:SafePredict: A Meta-Algorithm for Machine Learning That Uses Refusals to Guarantee Correctness

论文链接:https://arxiv.org/abs/1708.06425

摘要:SafePredict 是一种新型元算法,它可以和任意基础预测算法一起处理在线数据,通过拒绝来保证任意选择的正确率 1−ϵ。允许拒绝表示元算法有时可拒绝基础算法生成的预测,以使非拒绝预测的错误率不超过 ϵ。SafePredict 的错误界限不依赖于任何关于数据分布或基础预测器的假设。如果基础预测器未超过目标错误率ϵ,则 SafePredict 只能拒绝有限次。如果基础预测器的错误率随着时间发生改变,则 SafePredict 利用重心转移的启发式算法在无需了解变化时间的情况下适应这些变化,同时保证准确率。实证研究表明:(1)SafePredict 与顶尖的基于置信度的拒绝机制相比更有优势,后者无法提供鲁棒的错误率保证;(2)SafePredict 和此类拒绝机制的组合可以在多种情况下进一步减少拒绝的数量。我们的软件(目前是 Python 程序)在补充材料中。

表 1:符号表示

图 1:M 代表元算法,其预测等同于基础预测器 P 的推荐,或者元算法为了保证目标正确率(target rate)ε 拒绝对数据点 t 进行预测。

图 2:基于合成数据的效率实验:SafePredict 的效率 (T∗/T) 随着α增加的变化趋势(上方图)。如果基础预测器的错误率是恒定的,且高于目标错误率,则 SafePredict 几乎一直在拒绝。这种情况下预测的数量随着α的增加而增加(下方图)。另一方面,当基础预测器的错误率在目标错误率上下波动时,SafePredict 的效率随着α的增加而上升,达到几乎与 oracle(当且仅当ε_t ≤ ε时,才会进行预测)等同的效率。在任何情况下,都确保渐近有效性(asymptotic validity)。

图 3:合成数据,效率进化:注意α = 0 对应初始 SafePredict,不具备适应性。对于α > 0 的情况,SafePredict 可以跟踪变异点,提升效率。α越大表示跟踪效果越好。随着变异点数量的增加,SafePredict 对基础预测器的性能跟踪效果越差,造成效率下降。图中所有预测器都是有效的。

图4. MNIST数据集:基础预测器的效率是1.0,但多种拒绝元算法的效率低于1.0。有效性作为目标错误率的一部分进行评估。因此,基础预测器的错误率很糟糕(超过ε)。尽管错误率在变异点位于t = 5000时增加,所有的SafePredict变体快速达到正常的错误率1。基于置信度的竞争无法确保渐近有效性。两种形式的适应性帮助减少拒绝的数量:重心转移(特别是α值很大的时候)和遗忘适应性(amnesic adaptivity)。把二者结合起来使得在保留有效性的同时实现最高的效率。

本文为机器之心编译,转载请联系本公众号获得授权。

✄------------------------------------------------

本文来自企鹅号 - 轻芒媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏绿巨人专栏

博弈论(Game Theory) - 03 - 前传之最大最小均衡

2649
来自专栏有趣的Python

TensorFlow应用实战-3- TensorFlow介绍

3- TensorFlow介绍 一句话介绍: Google开源的基于数据流图的科学计算库,适用于机器学习 不局限于机器学习,但目前被大多用于机器学习等。 ...

3645
来自专栏程序人生 阅读快乐

《计算机图形学》

《计算机图形学》与大多数传统的计算机图形学教材不同,它仅简要介绍交互式计算机图形学方面的基本知识,主要侧重于介绍计算机图形学在数学及其他科学领域的应用,解决实际...

521

流行的深度学习库

哪些是值得学习的、好的专业库,而哪些又是应该避免的边缘项目,我们应该如何区分。

1717
来自专栏AI科技大本营的专栏

资源 | 做一款炫酷的机器人需要哪些学习资源(机器人资源Awesome系列)

翻译 | AI科技大本营 参与 | 赵博 SuiSui 为什么要制作机器人呢?想参加各种机器人大赛?看起来很炫酷?不过从学习角度说,机器人综合了信息技术、电子工...

34410
来自专栏企鹅号快讯

简单有效的多标准中文分词

-欢迎 加入AI技术专家社群>> 本文介绍一种简洁优雅的多标准中文分词方案,可联合多个不同标准的语料库训练单个模型,同时输出多标准的分词结果。通过不同语料库之间...

2137
来自专栏AI科技评论

斩获 ISCA 2018 中国唯一一作论文,清华大学 Thinker 团队提出 AI 计算芯片的存储优化新方法

AI 科技评论按:6 月 2 日至 6 日,第 45 届国际计算机体系结构大会(International Symposium on Computer Arch...

1034
来自专栏机器之心

现在,所有人都可以在18分钟内训练ImageNet了

该团队的主要训练方法是:fast.ai 用于分类任务的渐进式调整大小和矩形图像验证;英伟达的 NCCL 库,该库整合了 PyTorch 的 all-reduce...

761
来自专栏量子位

Caffe2推出强化学习库,包含多个基于Caffe2的RL实现

安妮 编译自 Caffe2.ai 量子位 出品 | 公众号 QbitAI 今年4月,Facebook正式发布了轻量化和模块化的深度学习框架Caffe2。将近5个...

3207
来自专栏量子位

DeepMind推出分布式深度强化学习架构IMPALA,让一个Agent学会多种技能

维金 编译自 DeepMind Blog 量子位 出品 | 公众号 QbitAI 目前,深度增强学习(DeepRL)技术在多种任务中都大获成功,无论是机器人的持...

2687

扫码关注云+社区