SafePredict:使用拒绝机制保证正确率的机器学习元算法

选自arXiv

机器之心编译

参与:路雪、刘晓坤

SafePredict 是一种新型元算法,可以使用拒绝机制保证正确率,其错误界限不依赖于任何关于数据分布或基础预测器的假设。该算法与顶尖的基于置信度的拒绝机制相比更有优势,可以更鲁棒地保证正确率,并减少拒绝的数量。

论文:SafePredict: A Meta-Algorithm for Machine Learning That Uses Refusals to Guarantee Correctness

论文链接:https://arxiv.org/abs/1708.06425

摘要:SafePredict 是一种新型元算法,它可以和任意基础预测算法一起处理在线数据,通过拒绝来保证任意选择的正确率 1−ϵ。允许拒绝表示元算法有时可拒绝基础算法生成的预测,以使非拒绝预测的错误率不超过 ϵ。SafePredict 的错误界限不依赖于任何关于数据分布或基础预测器的假设。如果基础预测器未超过目标错误率ϵ,则 SafePredict 只能拒绝有限次。如果基础预测器的错误率随着时间发生改变,则 SafePredict 利用重心转移的启发式算法在无需了解变化时间的情况下适应这些变化,同时保证准确率。实证研究表明:(1)SafePredict 与顶尖的基于置信度的拒绝机制相比更有优势,后者无法提供鲁棒的错误率保证;(2)SafePredict 和此类拒绝机制的组合可以在多种情况下进一步减少拒绝的数量。我们的软件(目前是 Python 程序)在补充材料中。

表 1:符号表示

图 1:M 代表元算法,其预测等同于基础预测器 P 的推荐,或者元算法为了保证目标正确率(target rate)ε 拒绝对数据点 t 进行预测。

图 2:基于合成数据的效率实验:SafePredict 的效率 (T∗/T) 随着α增加的变化趋势(上方图)。如果基础预测器的错误率是恒定的,且高于目标错误率,则 SafePredict 几乎一直在拒绝。这种情况下预测的数量随着α的增加而增加(下方图)。另一方面,当基础预测器的错误率在目标错误率上下波动时,SafePredict 的效率随着α的增加而上升,达到几乎与 oracle(当且仅当ε_t ≤ ε时,才会进行预测)等同的效率。在任何情况下,都确保渐近有效性(asymptotic validity)。

图 3:合成数据,效率进化:注意α = 0 对应初始 SafePredict,不具备适应性。对于α > 0 的情况,SafePredict 可以跟踪变异点,提升效率。α越大表示跟踪效果越好。随着变异点数量的增加,SafePredict 对基础预测器的性能跟踪效果越差,造成效率下降。图中所有预测器都是有效的。

图4. MNIST数据集:基础预测器的效率是1.0,但多种拒绝元算法的效率低于1.0。有效性作为目标错误率的一部分进行评估。因此,基础预测器的错误率很糟糕(超过ε)。尽管错误率在变异点位于t = 5000时增加,所有的SafePredict变体快速达到正常的错误率1。基于置信度的竞争无法确保渐近有效性。两种形式的适应性帮助减少拒绝的数量:重心转移(特别是α值很大的时候)和遗忘适应性(amnesic adaptivity)。把二者结合起来使得在保留有效性的同时实现最高的效率。

本文为机器之心编译,转载请联系本公众号获得授权。

✄------------------------------------------------

本文来自企鹅号 - 轻芒媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

中科院「脑科学与人工智能」论坛,四场报告概要+两大研究方向解读+两项专题讨论实录

机器之心报道 编辑:夏亚妹妹、蒋思源 5 月 8 日,由中国科学院学部主办的「脑科学与人工智能」科学与技术前沿论坛召开,本论坛从脑科学如何支持人工智能的发展和类...

2878
来自专栏华章科技

深度学习卷积神经网络大事件一览

导读: 深度学习(DeepLearning)尤其是卷积神经网络(CNN)作为近几年来模式识别中的研究重点,受到人们越来越多的关注,相关的参考文献也是层出不穷,连...

782
来自专栏数据科学与人工智能

【经验】普通程序员如何转做人工智能

小编邀请您,先思考: 1 您擅长那种编程语言? 2 您了解深度学习,机器学习和人工智能吗? 我曾经也只是一个只懂 ACM 竞赛相关算法的普通程序员,误打误撞接触...

3458
来自专栏华章科技

洛桑理工27页PPT带你入坑GCN:Graph上的深度学习报告(附下载)

导读:洛桑理工学院教授Michaël Defferrard在Deep Learning on Graphs at the Graph Signal Proces...

751
来自专栏AI科技评论

洞见|如何评价谷歌刚刚上线的神经机器翻译(GNMT)系统?

Google最新宣布发布谷歌神经机器翻译(GNMT:Google Neural Machine Translation)系统,在官方博客中Google称该系统使...

3525
来自专栏量子位

年度必看AI论文:生成式非对抗网络(停止对抗,用爱学习)

震惊!(本次使用已获UC震惊部授权) 就在昨天,人工智能领域一个开创性的成果出现了:关于生成对抗网络(GAN)的最新论文出炉。很多学者和业内人士,都用震惊二字描...

3334
来自专栏一名叫大蕉的程序员

机器学习从抬脚到趴倒在门槛No.34

好像一下子,进入了AI时代,后台的很多小伙伴其实都很迷茫,自己现在该如何去做好准备,去迎接即将到来的All in AI。 所以就有了今天这篇文章啦。今天呢,跟...

1859
来自专栏专知

基于信息理论的机器学习

【导读】今天,专知很荣幸邀请到中科院自动化研究所胡包钢研究员分享他最近在国际神经信息处理会议ICONIP上做的教学报告。在这篇报告中,作者相信信息学习理论将会成...

3038
来自专栏人工智能头条

2015伦敦深度学习峰会:来自DeepMind、Clarifai、雅虎等大神的分享

1844
来自专栏机器之心

学界 | SafePredict:使用拒绝机制保证正确率的机器学习元算法

2736

扫码关注云+社区