专栏首页有三AI【图像分类】 图像分类中的对抗攻击是怎么回事?

【图像分类】 图像分类中的对抗攻击是怎么回事?

欢迎大家来到图像分类专栏,深度学习分类模型虽然性能强大,但是也常常会因为受到小的干扰而性能崩溃,对抗攻击就是专门研究如何提高网络模型鲁棒性的方法,本文简要介绍相关内容。

作者&编辑 | 郭冰洋

1 简介

对于人类而言,仅仅通过所接收到的视觉信息并不能完全帮助我们做出正确、迅速的判定,还需要结合我们的生活经验做出相应的反应,以确定哪些信息是真实可靠的,而哪些信息是虚假伪造的,从而选取最适合的信息并做出最终的决策。

基于深度学习的图像分类网络,大多是在精心制作的数据集下进行训练,并完成相应的部署,对于数据集之外的图像或稍加改造的图像,网络的识别能力往往会受到一定的影响,比如下图中的雪山和河豚,在添加完相应的噪声之后被模型识别为了狗和螃蟹。

在此现象之下,对抗攻击(Adversarial Attack)开始加入到网络模型鲁棒性的考查之中。通过添加不同的噪声或对图像的某些区域进行一定的改造生成对抗样本,以此样本对网络模型进行攻击以达到混淆网络的目的,即对抗攻击。而添加的这些干扰信息,在人眼看来是没有任何区别的,但是对于网络模型而言,某些数值的变化便会引起“牵一发而动全身”的影响。这在实际应用中将是非常重大的判定失误,如果发生在安检、安防等领域,将会出现不可估量的问题。

本篇文章我们就来谈谈对抗攻击对图像分类网络的影响,了解其攻击方式和现有的解决措施。

2 对抗攻击方式

2.1 白盒攻击(White-box Attacks)

攻击者已知模型内部的所有信息和参数,基于给定模型的梯度生成对抗样本,对网络进行攻击。

2.2 黑盒攻击(Black-box Attacks)

当攻击者无法访问模型详细信息时,白盒攻击显然不适用,黑盒攻击即不了解模型的参数和结构信息,仅通过模型的输入和输出,生成对抗样本,再对网络进行攻击。

现实生活中相应系统的保密程度还是很可靠的,模型的信息完全泄露的情况也很少,因此白盒攻击的情况要远远少于黑盒攻击。但二者的思想均是一致的,通过梯度信息以生成对抗样本,从而达到欺骗网络模型的目的。

3 解决方案

3.1 ALP

Adversarial Logit Paring (ALP)[1]是一种对抗性训练方法,通过对一个干净图像的网络和它的对抗样本进行类似的预测,其思想可以解释为使用清洁图像的预测结果作为“无噪声”参考,使对抗样本学习清洁图像的特征,以达到去噪的目的。该方法在ImageNet数据集上对白盒攻击和黑盒攻击分别取得了 55.4%和77.3%的准确率。

3.2 Pixel Denoising

Pixel Denosing是以图像去噪的思想避免对抗攻击的干扰,其中代表性的是Liao等[2]提出的在网络高级别的特征图上设置一个去噪模块,以促进浅层网络部分更好的学习“干净”的特征。

3.3 Non-differentiable Transform

无论是白盒攻击还是黑盒攻击,其核心思想是对网络的梯度和参数进行估计,以完成对抗样本的生成。Guo等[3]提出采用更加多样化的不可微图像变换操作(Non-differentiable Transform)以增加网络梯度预测的难度,通过拼接、方差最小化等操作以达到防御的目的。

3.4 Feature Level

通过观察网络特征图来监测干扰信息的影响,是Xie等[4]提出的一种全新思路,即对比清洁图像和对抗样本的特征图变化(如上图所示),从而设计一种更加有效直观的去噪模块,以增强网络模型的鲁棒性,同样取得了非常有效的结果。

除此之外,诸多研究人员针对梯度下降算法提出了混淆梯度(Obfuscated gradients)的防御机制,在网络参数更新的梯度优化阶段采用离散梯度、随机梯度与梯度爆炸等方法,实现更好的防御措施。

参考文献:

1 H. Kannan, A. Kurakin, and I. Goodfellow. Adversarial logit

pairing. In NIPS, 2018.

2 F. Liao, M. Liang, Y. Dong, and T. Pang. Defense against

adversarial attacks using high-level representation guided

denoiser. In CVPR, 2018

3 C. Guo, M. Rana, M. Cisse, and L. van der Maaten. Countering

adversarial images using input transformations. In ICLR,

2018.

4 Cihang Xie,Yuxin Wu,Laurens van der Maaten,Alan Yuille and Kaiming He. Feature Denoising for Improving Adversarial Robustness.In CVPR 2019

总结

对抗攻击是图像分类网络模型面临的一大挑战,日后也将是识别、分割模型的一大干扰,有效地解决对抗样本的影响,增加网络模型的鲁棒性和安全性,也是我们需要进一步研究的内容。

本文分享自微信公众号 - 有三AI(yanyousan_ai),作者:郭冰洋

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【知识星球】剪枝量化初完结,蒸馏学习又上线

    欢迎大家来到《知识星球》专栏,这里是网络结构1000变小专题,模型压缩是当前工业界的核心技术,我们这一个月一直在更新相关的内容,刚刚更新完了一批剪枝和量化相关的...

    用户1508658
  • 【杂谈】当前模型剪枝有哪些可用的开源工具?

    模型剪枝属于模型优化中的重要技术之一,经过了研究人员多年的研究,工业界也开始有一些实践,那么当前有哪些可用的模型剪枝工具呢?

    用户1508658
  • 【生成模型】关于无监督生成模型,你必须知道的基础

    大家好,小米粥销声匿迹了很长一段时间,今天又杀回来啦!这次主要是介绍下生成模型的相关内容,尤其是除了GAN之外的其他生成模型,另外应部分读者要求,本系列内容增添...

    用户1508658
  • 吴恩达团队盘点2019AI大势:自动驾驶寒冬、NLP大跃进、Deepfake已成魔!

    2019注定是充满了里程碑的一年。它将大众从《西部世界》、《终结者》等好莱坞科幻电影不切实际的虚幻场景中抽离出来,让人们认识到,AI其实是世界上的有形力量而非梦...

    钱塘数据
  • 【干货】DeepMind 研究科学家深度生成模型报告,视频+PPT一文全揽最新前沿进展(附下载)

    【导读】DeepMind 统计机器学习科学家Shakir Mohamed和Danilo Rezende在UAI2017大会上介绍了深度生成模型(Deep Gen...

    WZEARW
  • 胶囊网络显神威:Google AI和Hinton团队检测到针对图像分类器的对抗攻击

    对抗攻击(Adversarial Attack,指的是通过恶意输入欺骗模型的技术)正越来越多地被有"防御意识"的新攻击打破。实际上,大多数声称检测对抗性攻击的方...

    新智元
  • 数据库应用系统(常考点)

    (1)表示层:用于显示数据和接收用户输入的数据,(一般位Windows应用程序或web应用程序)

    ellipse
  • SonarQube检测出的bug、漏洞以及异味的修复整理

    上面的这种bug在项目中很常见,参数都用new Object[]{}封装起来。特别是从class文件反编译回来成的java文件格式也是这样的。但是如果要消除...

    chenchenchen
  • 胶囊网络显神威:Google AI和Hinton团队检测到针对图像分类器的对抗攻击

    对抗攻击(Adversarial Attack,指的是通过恶意输入欺骗模型的技术)正越来越多地被有"防御意识"的新攻击打破。实际上,大多数声称检测对抗性攻击的方...

    CV君
  • PowerShell 学习笔记(3)

    例子2、获取AD里所有计算机的bios信息 -ExpandProperty <string>     指定要选择的属性,并指示应当尝试展开该属性。属性名中允...

    py3study

扫码关注云+社区

领取腾讯云代金券