学界 | 三维对抗样本的生成方法MeshAdv,成功欺骗真实场景中的分类器和目标检测器

机器之心发布

作者:Dawei Yang,Chaowei Xiao,Bo Li,Jia Deng,Mingyan Liu

机器之心编辑部

由于投影操作的复杂性以及人类对三维物体的感知偏向,生成三维空间的对抗样本是很困难的。在这篇论文中,研究者提出了一种基于物理模型的可导渲染器的三维对抗样本生成方法 MeshAdv。MeshAdv 不仅成功欺骗了分类器和目标检测器,还可以通过提出的流程达到很强的迁移性。

论文:REALISTIC ADVERSARIAL EXAMPLES IN 3D MESHES

论文地址:https://arxiv.org/pdf/1810.05206.pdf

我们已知深度神经网络容易受到对抗样本的攻击从而给出错误的预测结果。目前绝大部分的对抗样本都是在二维图像空间中直接对像素进行修改。但是在现实场景中直接操纵图片像素并不容易。由于越来越多的训练数据通过渲染三维物体生成,研究对抗式的三维样本变得更加重要。本文提供了一种新的方法 MeshAdv:通过操纵三维物体(用网格表示)生成对抗式三维网格,使得最终三维渲染器生成该网格的的二维图片可以成功攻击一个深度神经网格的模型(分类器或者目标检测器),并且验证了该三维网格的对抗性可以成功转移到不同的渲染器上。

相比于传统的基于二维图片的对抗样本,MeshAdv 的好处是,用对抗式三维网格生成的样本更加合理并且更容易去攻击现有的图片输入的机器学习模型,并且能够使用低成本的简单的渲染器来生成对抗式三维网格,并且转移到高成本的更加复杂的渲染器上。

首先作者们定义了自己的目标:已知一个训练好的二维图片作为输入的机器学习模型 g。通过渲染一个三维物体网格 S,得到一张输入图片 I。作者们希望通过修改这个三维网格 S(网格顶点或者表面颜色),来使得模型 g 在渲染的图片 I 上预测出错误的结果。

这并不是一个简单的问题:

1. 从三维世界到二维世界的复杂性:把二维图片看作是三维世界投影的结果,而不是直接将二维图片看作 h x w 个像素。这会导致图像空间大大减少,因为很多二维图片是无法通过构建三维世界生成的。三维空间中的光照、物体形状和物体表面颜色相互作用生成最终图片,这种作用可能会影响到对抗样本的生成,比如几乎不可能只改变图片中的一个像素而保持其它像素不变。这种相互作用,或者叫渲染,通常情况下是不可导的,除非做出对物体表面反射模型和光照模型等等的假设。

2. 三维空间本身的复杂性:三维空间中的约束与二维空间很不同,合理的三维形状/颜色并不直接体现在二维图片上;人对二维图片中物体的感知基于对于三维物体的理解,而对三维物体进行修改会直接影响该物体的三维特性,但在二维空间直接操纵像素值却基本不会,所以生成应用在三维物体上无法察觉的扰动是一件很难的事情。

对于以上难点,这篇论文的研究者们提出 MeshAdv 方法来解决。

首先,研究者使用一个基于物理模型的可导渲染器来将三维物体渲染成二维图片;然后分别尝试生成对于三维网格的顶点和各个三角形的颜色的扰动,来使得一个分类器将渲染的图片分类成研究者指定的错误的类别,如图 1 所示。

图 1:MeshAdv 的过程图示。

结果表明对于不同类别的原始三维网格,在各种光照和角度下都能成功,并且达到接近 100% 的成功率,如图 2 所示。研究者将扰动后的对抗式三维网格放到 Amazon Mechanical Turk 上让人们对其进行分类,99.29+-1.96% 的分类准确率表明这种对抗式三维网格的扰动对于人类感知影响是很小的。

图 2:通过不同类型的扰动(网格形状,或者网格表面颜色),根据不同的目标类别生成的对抗式三维网格。

然后,研究者用同样的方法尝试去攻击一个物体检测器。他们合成了一个有桌子、椅子的场景并且将一个兔子网格 (Stanford Bunny) 放在桌子上,通过扰动使得检测器对桌子、椅子的检测都失效,如图 4 所示。他们再将一张室外的真实照片作为输入,通过估计光照来将兔子网格「真实地」放到场景中然后再对其进行扰动,并且成功地移除了对于原始真实照片中的「自行车」和「狗」的检测,如图 5 所示。

图 4:合成场景中的对抗式三维网格(Stanford Bunny)导致物体检测器失效

图 5:将对抗式三维网格(Stanford Bunny)渲染到真实照片中导致物体检测器失效

最后,作者研究了对抗式三维网格的转移能力,因为他们用了一个可导的渲染器,该渲染器做出了很多假设,包括三维物体表面为简单的 Lambertian 模型、方向光源、无阴影、无表面间的遮挡与交互反射。研究者想知道如果使用一个高级的渲染器,比如 Mitsuba,该对抗式三维网格是否仍然能够使得分类器或者物体检测器失效。

作者研究了两种条件下的转移能力:已知渲染参数和未知渲染参数。对于已知渲染参数,直接使用 Mitsuba 替换掉可导渲染器,使用完全相同的渲染参数,并在渲染出来的图片上做有目标攻击和无目标攻击的评估。结果表示出无目标攻击成功相对较高,有目标攻击成功率相对较低。对于未知渲染参数的场景,使用可导渲染器去估计渲染参数,并且使用估计的参数和可导渲染器来生成对抗式三维网格。生成后,将该网格再重新放回 Mitsuba,再评估 Mitsuba 生成的图片是否也可以让机器学习模型预测失败。结果表明这种对抗式三维网格能够转移到不同的渲染器上。这使得我们可以用低成本的渲染器来生成对抗式三维网格来污染高成本的渲染引擎生成的图片。

图 6:在未知渲染参数下估计参数并且将对抗性转移到 Mitsuba 渲染的图片中并且导致分类器分类错误

图 7. 在未知渲染参数下估计参数并且将对抗性迁移到 Mitsuba 渲染的图片中并且导致检测失败(最左椅子)

图 3:将顶点的扰动流可视化。

表 1:在原始数据(p)上对不同模型的准确率,以及 meshAdv 生成的对抗样本的攻击成功率。

表 2:通过迁移 3D 对抗样本(通过攻击一个可微渲染器 NMR 生成)到 Mitsuba 渲染器的无目标攻击成功率。

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-10-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

20条「不成熟」的小建议,如何构建深度神经网络?

本文介绍了构建深度神经网络的一些基本技巧,从通用技巧、神经网络调试和案例研究三方面展开。

10220
来自专栏数据科学与人工智能

【应用】 信用评分:第7部分 - 信用风险模型的进一步考虑

以满足科学模型开发的主要标志 - 严谨性,可测试性,可复制性和精确性以及可信度 - 考虑模型验证以及如何处理不平衡数据非常重要。 本文概述了可用于满足这些标志的...

12730
来自专栏CVer

[计算机视觉论文速递] 2018-07-02 图像分割专场

这篇文章有2篇论文速递,都是图像分割方向,包括运动捕捉图像的语义分割、将FCN和GAN结合的巩膜分割。其中一篇是ACM SIGGRAPH 2018,另一篇是BT...

16030
来自专栏机器人网

谁是世界上最美的人?看神经网络为每人按颜值魅力打分

「魔镜魔镜告诉我,谁是世界上最美的女人?」这句伴随童年的话也有现实版哦~神经网络可以预测人脸颜值,这方面也出现了不少研究。今年年初华南理工大学的研究者发布论文,...

24540
来自专栏磐创AI技术团队的专栏

深度学习中的正则化技术概述(附Python+keras实现代码)

24010
来自专栏计算机视觉战队

深度网络自我学习,最终实现更少样本的学习

接下来我们就开始今日的主题:自我学习,最少的样本去学习。听到这个,大家会想到剪枝、压缩神经网络。今天这个更加有趣,现在我们开始欣赏学术的盛宴!

29510
来自专栏专知

深度学习入门指南:初学者必看!

机器学习技术为现代社会的许多领域提供了强大的技术支持:从网络搜索到社交网络的内容过滤,再到电子商务网站的产品推荐。机器学习技术正越来越多的出现在消费级产品上,比...

35850
来自专栏iOSDevLog

问题构建 (Framing):机器学习主要术语

302100
来自专栏视觉求索无尽也

【调参经验】图像分类模型的调参经验前言调参经验与我交流

用深度学习做图像分类任务也有近一年时间了,从最初模型的准确率只有60%到后来调到有80%,再到最后的90%+的准确率,摸索中踩了很多坑,也总结出了一些经验。现在...

28120
来自专栏机器之心

构建深度神经网络,我有20条「不成熟」的小建议

在我们的机器学习实验室中,我们已经在许多高性能的机器上进行了成千上万个小时的训练,积累了丰富的经验。在这个过程中,并不只有电脑学习到了很多的知识,事实上我们研究...

12310

扫码关注云+社区

领取腾讯云代金券