专栏首页人工智能前沿讲习【源头活水】AAAI2021 通过主动学习提升模型鲁棒性

【源头活水】AAAI2021 通过主动学习提升模型鲁棒性

“问渠那得清如许,为有源头活水来”,通过前沿领域知识的学习,从其他研究领域得到启发,对研究问题的本质有更清晰的认识和理解,是自我提高的不竭源泉。为此,我们特别精选论文阅读笔记,开辟“源头活水”专栏,帮助你广泛而深入的阅读科研文献,敬请关注。

作者:知乎—kid丶

地址:https://www.zhihu.com/people/zhu-kun-peng-20-8

写了那么多别人文章的博客,终于有机会给大伙介绍自己的工作了!这篇文章是我和陶略(研究对抗鲁棒性的大佬)一起合作的工作,文章是有关模型鲁棒性 (Model Robustness) 以及主动学习 (Active Learning) 相关的,目前被AAAI2021接收,暂时还没被放出来。

01

主动学习 (Active Learning)

主动学习主要是解决在半监督场景下的应用问题,即我们只有极少量的有标记样本以及大量的未标记样本情况下如何训练出一个有效的模型,它和半监督学习是并列的关系。用一句话来简单概括就是,主动学习的核心目标是如何在这么大量未标记样本中挑选出最有价值的一批给人类标注者 (Oracle) 来打标记,从而使得用最少的标记代价来训练性能尽可能高的模型。

一个主动学习例子如上图所示[1], 在有标记训练集中训练得到一个初始模型后,根据其自身的一些信息从未标记池中挑选出一批未标记样本让标注者打上标签并加将其入到标记集合中去,形成一个循环。由此,它所能研究的东西也很多,例如研究具体任务上如何挑选样本的策略;又例如标记不同样本的难易程度是不同的,如何把这些样本分配给标注水平不同的标注者从而使得标记代价最小化;又或者用户的标记是带噪声的,因此可推广到众包场景下让多个标注者给同一个样本打标签,从多个噪声的标记中推测出真实标记(降低单个标注者标错样本的风险,这和买基金把鸡蛋放到多个篮子里是同一个道理);还可以研究标记类型之类的,例如样本的标签不一定是它的类别,在图像分割、目标识别场景下可以是一些box之类的。

02

模型鲁棒性 (Model Robustness)

深度神经网络在取得巨大成功的同时,也暴露出了其脆弱性以及不鲁棒性等众多问题。例如近几年比较火的对抗样本,对一张图片加一些细微的、肉眼不可见的对抗扰动 (adversarial perturbations),就可让模型产生截然不同的预测(如下图所示,熊猫被预测成长臂猿)。

另一方面,模型通常还被要求对一些腐蚀扰动 (corruption perturbations) 后的样本鲁棒,例如一些高斯噪声、椒盐噪声、运动模糊等等(如下图所示)。因为在实际应用场景中,目标物可不会乖乖的站在那不动然后让你拍个照再识别出它是啥,往往可能会伴随着目标体的运动、复杂环境、糟糕天气等因素让识别任务变得更加困难。

由此可见,粗略的划分,模型鲁棒性通常指对上述两种分别增加了对抗噪声以及腐蚀噪声的样本鲁棒。为解决这一问题,目前最为常用的做法是对干净样本增加一些人为构造的噪声扰动(例如对抗扰动、高斯扰动等等)进行微调训练,期望训练后的模型能够对扰动后的样本鲁棒,其实这么做的一个原因是希望通过对干净样本增加一些人为扰动后的分布能够尽可能逼近真实分布。

如上图所示,一般的训练方式如左图所示,最小化模型输出

和真实标记

的经验风险。鲁棒训练 (Robust training) 的方式则如右图所示,给每个样本

加一些可爱的扰动

,相当于每个样本都会存在一个

球(epsilon ball),要求模型对每个 ball 进行正确的划分。直观的解释就是,考虑到实际场景下,样本可能会出现一些噪声扰动使得模型预测错,现我们假设被扰动后的样本依然包含在每个样本的

球当中,如果进行鲁棒训练后的模型能够对这些ball 鲁棒,那么在实际应用场景下也会对那些被噪声扰动后的样本鲁棒。这里值得注意的是,

选择一些高斯分布、均值分布等,则是在提升模型的一般鲁棒性,如果

选择展开成一个对抗扰动,即去找到一个使得样本 loss 最大的对抗扰动,该式子就变成了一个经典的min-max 问题去进行对抗训练提升模型的对抗鲁棒性。(这里不展开讲了,详情可关注好伙伴写的对抗鲁棒性简介(https://zhuanlan.zhihu.com/p/205035087))

03

存在的问题

相信大伙也也察觉到了上述鲁棒训练一个问题,就是它通常给所有的样本加相同噪声水平的扰动进行鲁棒训练,也就是说每个样本的

球是一样大的。这么做通常是假设每个样本忍受的噪声水平是一致的,但更符合实际的情况是越模糊、越复杂、分辨率越低的图片加一些轻微的扰动就会损害其可判别性(换句话来说,就是人都已经判别不出来这张图片是啥了,此时让模型能够对该图片鲁棒已经失去意义了),另一方面,越清晰、越简单、分辨率越高、识别目标尽可能充满整张图的样本能够忍受更大的噪声,就算给它增加很大的噪声可能还是具有可判别性。因此,我们提出了基于 instance-dependent perturbations level 的经验损失函数:

换句话来说,我们希望那些“清晰”的样本的

尽可能大一点,为了尽可能提升模型鲁棒性,希望那些“模糊”的样本的

尽可能小一点,为了让其不丧失可判别性。

04

我们的方法

那么,我们怎么来调整样本的噪声水平

呢?我们提出让人类标注者参与提升模型鲁棒性的训练过程中来,提出主动的去挑选出最有价值样本并查找其最合适的噪声水平。这里面涉及到两点,第一,如何定义最合适的噪声水平以及如何去标;第二,我们不可能将所有的样本都标一遍,因此我们要设计策略去找到那些最需要标记、最有价值的那批样本(换句话来说,就是找到那些潜在使得模型鲁棒性提升最有帮助那批样本)。

我们所提出的方法框架如上图所示,流程从左到右形成循环,首先我们有一批由

构成的数据集(其中圆和三角形分别代表两个类别,黑色和红色分别代表其噪声水平

没被调整和以及已经被调整),我们 follow 主动学习的步骤,在该数据集上训练一个分类器(黑色实曲线),接着我们使用特别的策略去挑选最有价值的样本,最后向 Oracle 查询其合适的噪声水平并加入到数据集中。

针对第一个问题如何去标,我们的方法将噪声水平从小到大生成一系列的图片让人去划分分界面(图右边的红色标注),人眼最多能忍受什么程度的噪声,比如其中一张图片是刚刚好看得清和看不清之间,那就将最合适的噪声水平标到这儿。

针对第二个问题该标哪些,我们需要去找到最需要标记、最有价值的那批样本。其实也很直观,我们期望去找到那些当前噪声水平和本身最不匹配的样本,这些样本总共两种:很清楚的图片却只给他们进行很小的噪声扰动(对应上图即远离分界面并且圈圈很小的样本),以及很复杂很模糊的图片却给他们进行了很大的噪声扰动(对应上图即靠近分界面并且圈圈很大的样本)。前者由于扰动太小对提升模型鲁棒性没有作用,后者由于丧失类别可判别性也对提升模型鲁棒性没有作用甚至对特征学习有害。那么,该怎么挑出这两批样本呢?例如基于不确定性的策略可以将靠近分界面和远离分界面的样本挑出来,但却没法衡量当前噪声水平是否合适。

受启发于 randomized smoothing[2],我们定义分类熵 (classification entropy) 去估计样本当前噪声水平的合适度。具体来说,对于样本

,我们首先根据其当前的噪声水平

生成

个噪声样本,并用当前的分类器

对这

个样本进行类别预测。直观地,如果这

个预测类别越一致,说明当前的噪声水平

对样本

来说可能太小了;另一方面,如果这

个预测类别越不一致,说明当前噪声水平可能太大了。形式上的,

其中,

代表当前样本

加了噪声后预测为类别

的概率,这里可以直接通过 Monte Carlo Sampling 求解。

直观地来看,假设当前分类器

对样本

周围的预测如上图 (左) 所示,不同的颜色代表不同的类别。可以观测到,可以观察到,在过度的扰动下 (对应于黑圈),分类器的预测将越不一致 (熵越大),而在微扰不足的情况下 (对应于红圈),分类器将产生越一致的预测 (熵越小)。

05

部分实验结果

实验结果大致为了证明两点,一是我们所提出的主动学习框架能够有效提升模型的鲁棒性,二是我们所提出的主动采样策略能够在使用更少的标注代价取得更高的模型性能。

06

参考文献

[1] Settles, B. 2009. Active learning literature survey. Technical report, University of Wisconsin-Madison Department of Computer Sciences.

[2] Cohen, J.; Rosenfeld, E.; and Kolter, Z. 2019. Certifified Adversarial Robustness via Randomized Smoothing. In International Conference on Machine Learning, 1310–1320.

本文目的在于学术交流,并不代表本公众号赞同其观点或对其内容真实性负责,版权归原作者所有,如有侵权请告知删除。

本文分享自微信公众号 - 人工智能前沿讲习(AIFrontier)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-03-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【源头活水】从样本对抗到模型对抗:Worst-Case Perturbations (WCP) 对抗模型

    “问渠那得清如许,为有源头活水来”,通过前沿领域知识的学习,从其他研究领域得到启发,对研究问题的本质有更清晰的认识和理解,是自我提高的不竭源泉。为此,我们特别精...

    马上科普尚尚
  • DVERGE:通过“缺陷”多样化构建鲁棒集成模型 | 杨幻睿本人解读

    本文是AI科技评论今日(10月20日)头条推文《14岁考入清华,22岁博士四年级,杜克大学杨幻睿的AI成长之路》的主人公杜克大学博士生杨幻睿对他这次NeurIP...

    AI科技评论
  • 超阿里、大华,澎思科技行人再识别(ReID)技术刷新三大数据集记录

    【导读】不久前,江苏省某市公安通过 AI 技术分析监控摄像头中的信息,抓获了一个偷盗电动车的嫌疑人员。监控摄像头在现场拍到的是嫌疑人背对摄像头的情况,未有清晰正...

    AI科技大本营
  • NeurIPS 2019论文解读:学习一个模仿小鼠视觉系统的CNN

    当前的基于 CNN 的图像识别模型确实能在许多任务中得到很高的识别准确率、也得到了许多实际应用,但 CNN 模型的泛化性和鲁棒性仍然远逊于人类视觉 —— 面对经...

    AI科技评论
  • 【ICLR2018 最高分论文】利用分布鲁棒优化方法应对对抗样本干扰

    【导读】近日,深度学习顶会ICLR2018评审结果出炉,得分最高的论文是 《Certifiable Distributional Robustness with...

    WZEARW
  • 2021年CCF-腾讯犀牛鸟基金课题介绍(二)——数字图像处理与计算机视觉

    腾讯公司和中国计算机学会于2013年共同发起的CCF-腾讯犀牛鸟基金(以下简称犀牛鸟基金),始终致力于支持海内外青年学者开展前沿学术研究与技术实践。犀牛鸟基金...

    腾讯高校合作
  • 学界 | DeepMind论文三连发:如何在仿真环境中生成灵活行为

    选自DeepMind 机器之心编译 参与:smith、黄小天、路雪 一只猴子在树林之间敏捷而灵活地跳跃穿梭,或者一名足球运动员快速带球过人、劲射得分,这些表现皆...

    机器之心
  • SFFAI分享 | 黄健:语音情感识别【附PPT与视频资料】

    黄健,中国科学院自动化研究所模式识别国家重点实验室15级硕博生。目前研究兴趣为多模态情感识别。博士期间在ACMMM,ICASSP,Interspeech等会议上...

    马上科普尚尚
  • SFFAI分享 | 张杰:针对图像处理网络的模型水印【附PPT与视频资料】

    深度学习已经在各个领域取得了巨大的成功,诸如图像分类、语音识别、自然语言处理等。训练一个性能好的深度学习模型往往需要大量的高质量数据和昂贵的计算资源。然而,这些...

    马上科普尚尚

扫码关注云+社区

领取腾讯云代金券