一个补丁就让淘宝京东商品识别系统彻底失效，北航博士论文入选ECCV 2020

新智元推荐

编辑：元子

【新智元导读】本文提出的bias-based 通用对抗补丁生成方法，是北京航空航天大学刘祥龙研究团队在对抗样本领域的最新研究成果。该方法利用了深度神经网络的感知和语义偏见，可以生成一种具有极强的跨类别攻击能力和跨模型攻击能力的对抗性的补丁。更为重要的是，该对抗补丁很容易在真实世界实现攻击，在对淘宝和京东的在APP上部署的真实使用的商品识别系统的攻击测试中，能轻松攻破该系统并使其错误识别商品，对人工智能的可用性和安全性敲响了警钟。

近年来，随着人工智能技术的发展，智能化应用在各行各业都有了广泛的应用。

在与我们生活息息相关的零售领域，人工智能技术的到来极大地便利化了人们的零售购物方式。人们不在需要排队等待售货员人工扫码结账，只需要平铺所有商品，基于计算机视觉的智能零售系统便可以迅速扫描计算价格，这引起零售行业降本增效的新浪潮。

然而AI自动零售落地并不是一片坦途，近年来AI安全性问题向其发出了最严峻的挑战。北京航空航天大学团队的最新研究成果表明，在自动零售领域核心的自动结算（Automatic Check-Out）环节，一块不大的类似商品商标的贴纸就能严重影响计算机视觉识别系统，导致其将昂贵的商品识别为非常便宜的物品。

如上图所示的带有商标或者logo的商品在生活中十分常见，而利用生成的类似形态的具有攻击性的对抗补丁（adversarial patch）可以让真实世界中的商品识别系统（淘宝“扫一扫”和京东“扫啊扫”）识别错误。

让我们想象一下这样的场景：当顾客在自动结算时，货物上出现了对抗补丁，原本可能只需要花10元钱的东西被错误识别为100元，顾客蒙受了损失。而对于商家而言，恶意的补丁可能导致原本应该收入100元的货物只收入10元，同样蒙受巨大损失。因此对于自动结算环节，有能力使得识别模型失效的对抗补丁具有相当高的危险性，需要引起从业者的广泛关注！

该论文题为《Bias-based Universal Adversarial Patch Attack for Automatic Check-out》，提出了一种基于模型偏见（Bias）的通用对抗性补丁生成框架。

该框架充分利用了模型的感知偏见和语义偏见，具有较强的泛化能力，在数字世界进行了大量的实验，并且能够成功攻击物理世界中部署的商品识别系统（淘宝和京东），目前论文已经被全球计算机视觉顶级会议ECCV-2020接收。

论文地址：http://arxiv.org/abs/2005.09257

代码地址：https://github.com/liuaishan/ModelBiasedAttack

基于模型偏见的对抗攻击

本文提出的对抗补丁生成框架具有较好的泛化能力，能够有效的攻击模型训练过程中“不可见”的物品种类，通过在真实世界系统中的测试和验证，验证了其有效性。其主要框架如下图所示。

通过利用模型固有的感知偏见从难样本中提取先验补丁块，并进行融合处理以获得更好的泛化攻击能力。在此基础上，生成包含丰富语义信息的类原型帮助训练对抗补丁，以获得对抗补丁生成效率上的提升。

基于感知偏见的先验补丁生成

基于感知偏见的先验补丁首先基于多个难样本生成融合样本。难样本是指模型难以正确分类和识别的样本且在数据集中普遍存在，被模型错分的难样本显然离正确的分类区域更远，也即是更容易跨越模型的决策边界导致模型分类错误，利用难样本的特征进行攻击如同“站在巨人的肩膀上”。

而已有的研究证明了，神经网络模型的判断更多依赖于纹理信息（texture），这也被认为是一种模型在感知上的偏见，为了利用这一客观性质进行对抗攻击，进一步的，本论文通过引入风格损失提取这类感知偏见，以增强融合样本的泛化攻击能力：

为了增强融合样本的不确定性，引入了类的不确定损失：

最终，在先验补丁生成环节，优化如下的融合损失：

融合后的样本具备更强的不确定性和泛化能力，基于此，作者通过使用一个注意力模块来提取最终先验补丁块：

其中融合样本中每个像素点的权重计算如下：

基于语义偏见的类原型训练

由于具有通用性的对抗性扰动的生成策略大多需要大量的训练数据，这极大的增加了各种意义上的训练开销，降低了对抗样本的可攻击性。为了减轻对大量训练数据的依赖，本文进一步引入了基于语义偏见的类原型。类原型是一种包含数据集中某一类语义信息的典型表示，其代表了某一类别的深层特征，对模型而言，这种类原型会使得模型产生语义上的“偏见”，通过引入类原型，可以训练对抗补丁利用这种固有的语义上的偏见实现对模型的欺骗行为。

其中类原型的目标函数如下：

考虑到对抗补丁在现实中的环境适应，论文还引入了转换模块已获得更强的物理世界攻击性。由此，得到整个框架的训练流程：

实验结果：AI零售仍然有很长一段路要走

首先，论文的数字世界实验在目前为止最大的零售ACO任务数据集上进行了白盒攻击实验和黑盒攻击实验，验证了所提出的框架生成的对抗补丁的有效性。

数字世界攻击

如下图所示，在白盒攻击的条件下，论文基于ResNet-152为backbone模型进行实验，并在相同的backbone下与其他方法进行对比，结果显示，本论文提出的方法攻击后的准确率降为5.42%，远远低于对比方法的准确率。

在黑盒攻击的条件下，论文在ResNet-152为backbone的条件下进行训练，攻击不同的模型（VGG-16、AlexNet、ResNet-101），同样达到了最好的水平（top-1 accuracy下）。

真实世界攻击

真实世界攻击基于两种在线购物平台（淘宝和京东）进行，在所有的4个种类80张真实世界货物的照片中，分别只有56.25%和55%被成功识别，而在不加对抗补丁的条件下，准确率分别为100%和95%，如下图样例所示，牛奶被识别为铝箔，水杯被识别为装饰品：

未来展望

计算机视觉技术的进步极大的推动了人工智能浪潮，视觉技术正在我们的生活中产生巨大的应用价值，也展现出了巨大的发展潜力，人脸识别、自动驾驶、行人检测、视频安防等领域的诸多成果无不昭示着技术给我们带来的便利。

AI零售被认为是下一个人工智能应用落地的领域之一，计算机视觉应用于这一领域不仅能够提升结算效率，同时能够极大的节省成本。然而面临着对抗样本的攻击，基于计算机视觉的自动零售系统暴露出了极大的安全隐患，面对这种风险，AI自动零售还能更顺利的走下去吗？

我们应当以更加慎重的态度和更加挑剔的眼光审视人工智能系统，重视安全人工智能与可解释深度学习技术的发展，用积极的心态拥抱技术，用更周全的思维发展技术，让人工智能技术更好的造福人类。

作者介绍

刘艾杉，北京航空航天大学计算机学院博士三年级在读，主要研究方向为对抗样本、深度学习鲁棒性、人工智能安全性，已在ECCV、AAAI、IJCAI等国际顶级人工智能与计算机视觉会议发表多篇论文，并担任多个国际会议及期刊审稿人（如：ACMMM，IJCAI，IEEE TIP等）。

王嘉凯，北京航空航天大学博士二年级在读，研究方向为对抗样本生成，深度学习鲁棒性与安全性，已有研究成果在ECCV发表。

刘祥龙，北京航空航天大学副教授，主要研究方向为大数据检索、大规模视觉分析、可信赖深度学习等，已在CVPR、ICCV、AAAI等国际顶级人工智能与计算机视觉会议和IEEE TIP等国际重要SCI期刊上发表论文100余篇，担任多个重要的国际会议或者期刊评审和领域主席，入选北京市科技新星计划和CCF青年人才发展计划等。