根据一些指标显示，关于生成对抗网络（GAN）的研究在过去两年间取得了本质的进步。在图像合成模型实践中的进步快到几乎无法跟上。
引言 该论文发表于CVPR2021，主要是关于黑盒攻击中对抗样本可迁移性的研究。论文的创新点很新颖，虽然论文代码没有开源，但是自己实现起来也相对简单。
选自arXiv 作者：Naveed Akhtar等 机器之心编译 参与：许迪、刘晓坤 这篇文章首次展示了在对抗攻击领域的综合考察。本文是为了比机器视觉更广泛的社区而写的，假设了读者只有基本的深度学习和图像处理知识。不管怎样，这里也为感兴趣的读者讨论了有重要贡献的技术细节。机器之心重点摘要了第 3 节的攻击方法（12 种）和第 6 节的防御方法（15 种），详情请参考原文。 尽管深度学习在很多计算机视觉领域的任务上表现出色，Szegedy et al. [22] 第一次发现了深度神经网络在图像分类领域存在有意
近日，由中科院信工所、香港中文大学（深圳）和腾讯AILab共同提出的一种可学习的对抗训练框架LAS-AT，被CVPR 2022（Oral）顺利接收。通过引入“可学习的攻击策略”，LAS-AT可以学习自动产生攻击策略以提高模型的鲁棒性。该框架由一个使用对抗样本进行训练以提高鲁棒性的目标网络和一个产生攻击策略以控制对抗样本生成的策略网络组成。在不同数据集上的实验结果展现了LAS-AT的优越性。
【新智元导读】对抗攻击通常会使得神经网络分类错误，但谷歌大脑团队的Ian Goodfellow 等人的新研究提出一个更加复杂的攻击目标：对神经网络重新编程，诱导模型执行攻击者选定的新任务。该研究首次表明了神经网络惊人的脆弱性和灵活性。
作者：Gamaleldin F. Elsayed、Ian Goodfellow、Jascha Sohl-Dickstein
【新智元导读】pix2pix 又有更新：悉尼大学的 Chaoyue Wang 等人受生成对抗网络（GAN）启发，在已有的感知损失基础上，提出了感知对抗网络（Perceptual Adversarial Network，PAN），能够持续地自动发现输出与真实图像间的差异，进一步提高图像转换的性能。在几种不同的图像转变任务中，PAN 的性能都超越了当前最优模型。 近来，卷积神经网络的发展，结合对抗生成网络（GAN）等崭新的方法，为图像转换任务带来了很大的提升，包括图像超分辨率、去噪、语义分割，还有“自动补全”，
最近几年安全界关于对抗学习的研究如火如荼，对抗样本的生成技术发展迅速。使用不同的对抗攻击方法可以生成对抗样本，不同攻击方法的攻击效果也有所不同。 另外关于对抗样本攻击的防御方法，已经有不少学者提出了一些解决方案，不过防御效果上还有提升空间。下图是关于对抗学习经典的应用场景，攻击者利用对抗样本攻击方法对关于熊猫的图片进行微小的修改从而使深度学习图像识别模型失效，误以为图片中的是长臂猿。这种攻击手段已经在本文之前已经进行过讨论。
安全性与保障性一直是机器人技术的两个主要问题。学术界处理这两个问题时，通常采用两种方法：1.用大量的数据训练深度模型，提高其环境适应性；2.进行对抗训练，提高其稳健性。
深度神经网络极易受到对抗样本的攻击。防御对抗样本攻击一个直观有效的方式就是对抗训练比如Free adversarial training 和Fast adversarial training，但问题是对抗训练比正常的训练要慢，主要原因在于对抗训练需要模型格外引入对抗样本进行训练，另外对抗训练的理论基础还不够扎实。
导语丨3月21日，世界顶级信息安全峰会CanSecWest 2019在加拿大温哥华召开，吸引了Google、Microsoft、Intel、腾讯、阿里等世界顶尖公司参会。来自腾讯安全平台部的AI安全研究员唐梦云受邀参会，并发表了名为《Adversarial Examples: Using AI to Cheat AI》的主题演讲，分享了团队在AI安全攻防的一些思考。
本文解读的是 CVPR 2020 论文《When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks》，作者来自香港中文大学、MIT。
深度神经网络(DNNs)在各种应用领域都取得了巨大的进展，包括图像处理、文本分析和语音识别。深度神经网络也被作为许多网络物理系统的重要组成部分。例如，自动驾驶汽车的视觉系统可以利用深度神经网络来更好地
AI科技评论了解到，近期清华信息科学与技术联合实验室，智能技术与系统国家重点实验室，生物启发计算研究中心和清华大学计算机科学技术学院联合发表的论文《使用对抗性例子提高深度神经网络性能》，探索了深度神经网络的内部架构，并提出了一种方法使人类可以监督网络的生成和网络发生错误的位置。 作者包括 Dong Yingpeng， Hang Su，Jun Zhu和Fan Bao。 论文链接：https://arxiv.org/pdf/1708.05493.pdf，AI科技评论编译。 深度神经网络（DNNs）在很多领域中都
选自ML Blog of Berkeley 作者：Daniel Geng、Rishi Veerapaneni 机器之心编译 参与：陈韵竹、刘晓坤、李泽南 用于「欺骗」神经网络的对抗样本（adversarial example）是近期计算机视觉，以及机器学习领域的热门研究方向。只有了解对抗样本，我们才能找到构建稳固机器学习算法的思路。本文中，UC Berkeley 的研究者们展示了两种对抗样本的制作方法，并对其背后的原理进行了解读。 通过神经网络进行暗杀——听起来很疯狂吧？也许有一天，这真的可能上演，不过方式
【新智元导读】这是一份生成对抗（神经）网络的重要论文以及其他资源的列表，由 Holger Caesar 整理，包括重要的 workshops，教程和博客，按主题分类的重要论文，视频，代码等，值得收藏学习。 目录 Workshops 教程 & 博客 论文 理论 & 机器学习 视觉应用 其他应用 幽默 视频 代码 Workshops NIP 2016 对抗训练 Workshop 【网页】https://sites.google.com/site/nips2016adversari
欢迎大家来到图像分类专栏，深度学习分类模型虽然性能强大，但是也常常会因为受到小的干扰而性能崩溃，对抗攻击就是专门研究如何提高网络模型鲁棒性的方法，本文简要介绍相关内容。
今天带来的文章，由同济大学研究生张子豪投稿。介绍了人工智能与信息安全的交叉前沿研究领域：深度学习攻防对抗。
选自Deephunt 作者：Avinash Hindupur 参与：黄小天、蒋思源 生成对抗网络（GAN）是近段时间以来最受研究者关注的机器学习方法之一，深度学习泰斗 Yann LeCun 就曾多次谈到 这种机器学习理念的巨大价值和未来前景。而各类 GAN 的变体也层出不穷，近日机器之心也报道过生成对抗网络的最新进展与论文集，而本文更注重于从 GAN 及其变体的角度对其论文做一个完整的梳理。 项目地址：https://deephunt.in/the-gan-zoo-79597dc8c347 每一周都会有关于
本文介绍了针对深度神经网络的物理对抗攻击方法，这些方法可以导致自动驾驶汽车、面部识别系统等领域出现安全问题。攻击者可以通过控制输入数据中的噪声、光照条件和其他环境因素，对神经网络产生误导。因此，防御这些对抗性攻击变得非常重要。目前已有研究提出了一些防御策略，如对抗训练和集成训练等，但研究仍处在初级阶段，需要进一步研究和完善。
机器学习在应用程序中的广泛使用，引起了人们对潜在安全威胁的关注。对抗性攻击（ adversarial attacks）是一种常见且难以察觉的威胁手段，它通过操纵目标机器学习模型，可能会“悄悄”破坏许多数据样本。
由中科院，腾讯AI实验室以及香港中文大学联合出品的硬核对抗训练的新作LAS-AT发表于CVPR2022。对抗训练被认为是抵御对抗攻击最有效的防御方法，它通常会被描述为求解一个极小极大问题，其性能取决于内部优化生成对抗样本的质量。
随着计算机产业发展带来的计算性能与处理能力的大幅提高，人工智能在音视频识别、自然语言处理和博弈论等领域得到了广泛应用。在此背景下，确保人工智能的核心——深度学习算法具有可靠的安全性和鲁棒性至关重要。
在一般的图像识别过程中，模型只是简单地输出图像的类别，而没有输出图像的特征，甚至并不能内在地、完整地表征图像。这导致了在测试中受到对抗攻击时，除非让人进行对比验证，否则根本不知道出了问题；或者直到出了问题，才知道存在对抗攻击。
【导读】当地时间 10月 22 日到10月29日，两年一度的计算机视觉国际顶级会议 International Conference on Computer Vision（ICCV 2017）在意大利威尼斯开幕。Google Brain 研究科学家 Ian Goodfellow 在会上作为主题为《生成对抗网络（Generative Adversarial Networks）》的Tutorial 最新演讲, 介绍了GAN的原理和最新的应用。昨天我们介绍了此内容，请查看 【干货】Google GAN之父Ian
【新智元导读】迄今为止，多数对于对抗样本的研究是关于对抗样本对监督式学习算法影响的。一个最新的技术报告研究了对抗性攻击干扰代理训练，使其无法学到任何有意义的事情的设想情况。这篇最新的论文则首次研究了测
【新智元导读】还记得不久前LeCun在Quora答题时说的，他最激动的深度学习进展是“生成对抗网络”吗？生成对抗网络的提出者Ian Goodfellow日前也在Quora做了一期答疑，从他自己的深度学习路，到生成对抗网络的发展，以及他目前所在的OpenAI的运作，作为深度学习新一代技术主力，Goodfellow详尽回答了各种问题。 原文链接：https://www.quora.com/session/Ian-Goodfellow/1 生成对抗网络发展 生成对抗网络是如何发展而来的？ Christian Sz
【新智元导读】以往认为对抗样本虽然能骗过神经网络分类器，但由于缺乏可迁移性，攻击现实世界系统成功可能性很低。MIT的研究人员开发了一种新的算法，生成的对抗样本能够在各种角度、光线下，骗过常用的神经网络分类器，精度高达90％以上。这项工作表明，对抗样本攻击对现实世界的影响比想象中更大。 基于神经网络的分类器在许多任务中达到接近人类的表现，在很多现实世界系统中也有应用。然而，这些神经网络特别容易受对抗样本（adversarial examples）的影响，这些对抗样本经过特殊设计，会导致物体被错误分类，比如下面
选自arXiv 作者：Pin-Yu Chen 、Yash Sharma、Huan Zhang、Jinfeng Yi、Cho-Jui Hsieh 机器之心编译 腾讯 AI Lab 在 2018 年 AAAI 中入选论文 11 篇，其中一篇与 IBM Research、The Cooper Union 和加州大学戴维斯分校合作的论文入选口头报告（Oral）。这篇论文提出一种基于弹性网络正则化的攻击算法，该算法将对抗样本攻击 DNN 的过程形式化为弹性网络正则化的优化问题。此外，对基于 L1 失真攻击的评估为对抗
简介：李翔，国内某互联网大厂AI民工，前携程酒店图像技术负责人，计算机视觉和深度学习重度爱好者，在ICCV和CVPR等会议上发表论文十余篇。
选自arXiv 作者：Anurag Arnab等 机器之心编译 参与：张倩、路雪 牛津大学&Emotech 实验室合作的一篇论文首次严谨评估了义分割模型对对抗攻击的鲁棒性。该研究分析了不同网络架构、模型容量和多尺度处理的影响，展示了分类任务上的很多观测结果未必会迁移到更复杂的任务上，并展示了哪种分割模型目前更适合安全性应用。 1 引言 计算机视觉已经发展到，用于大部分识别任务的深度神经网络（DNN）模型成为广泛可用的商品。但是，尽管 DNN 的绝对性能得分非常高，但是它们对于对抗样本依然非常脆弱 [11]。
导读：验证码作为网络安全的第一道屏障，其重要程度不言而喻。当前，卷积神经网络的高速发展使得许多验证码的安全性大大降低，一些新型验证码甚至选择牺牲可用性从而保证安全性。针对对抗样本技术的研究，给验证码领域带来了新的契机，并已应用于验证码反识别当中，为这场旷日持久攻防对抗注入了新的活力。
摘要： 本文使用TensorFlow一步一步生成对抗样本，步骤明确清晰。首先生成的对抗样本不具有旋转鲁棒性，后面使用同样的方法生成具有鲁棒性的对抗样本，适合初学者对生成对抗样本的入门及动手实验。 如果说卷积神经网络是昔日影帝的话，那么生成对抗已然成为深度学习研究领域中一颗新晋的耀眼新星，它将彻底地改变我们认知世界的方式。对抗学习训练为指导人工智能完成复杂任务提供了一个全新的思路，生成对抗图片能够非常轻松的愚弄之前训练好的分类器，因此如何利用生成对抗图片提高系统的鲁棒性是一个很有研究的热点问题。 神经网络合
同样在去年，该团队在 NIPS 2017 AI 对抗性攻防竞赛的三项比赛任务中（有/无特定目标攻击；攻击检测），全部获得冠军，战胜了包括斯坦福、约翰霍普金斯大学等世界著名高校在内的 100 多支代表队，在人工智能模型的鲁棒性和安全性应用方面迈出了重要一步。
导读：当前互联网飞速发展，越来越多的公司、组织和个人都选择在网上展示和分享图像。为了保护图像版权，大家都会选择在图像上打上透明或者半透明的水印。随着水印被广泛地使用，针对水印的各种处理技术也在不断发展，如何有效去除图像上的水印引发了越来越多人的研究兴趣。
由美国东北大学林雪研究组，MIT-IBM Watson AI Lab 和 MIT 联合研发的这款基于对抗样本设计的 T-shirt (adversarial T-shirt)，让大家对当下深度神经网络的现实安全意义引发更深入的探讨。目前该文章已经被 ECCV 2020 会议收录为 spotlight paper（焦点文章）。
【编者按】在kdnuggets此前发布的文章(Deep Learning’s Deep Flaws)’s Deep Flaws中，深度学习大神Yoshua Bengio和他的博士生、Google科学家Ian Goodfellow在评论中与作者就深度学习对抗样本（Adversarial Examples）展开了热烈的讨论，kdnuggets编辑邀请Ian Goodfellow撰文详解他的观点以及他在这方面的工作，后者允诺成此文。CSDN将其翻译如下，以飨读者。 到现在为止，几乎所有的输入都可以愚弄对象识别模型
AI 科技评论按：自 Ian Goodfellow 等研究者发现了可以让图像分类器给出异常结果的「对抗性样本」（adversarial sample）以来，关于对抗性样本的研究越来越多。NIPS 2017 上 Ian Goodfellow 也牵头组织了 Adversarial Attacks and Defences（对抗攻击防御）竞赛，供研究人员、开发人员们在实际的攻防比拼中加深对对抗性样本现象和相关技术手段的理解。
前几日肆虐全球的“wannacry”勒索病毒着实让我们惊出一身冷汗。如果这都惊到你了，那你是不知道人工智能系统中木马病毒的厉害，因为它所带来的损失可能不止是金钱，更可能是生命！ 但是你了解人工智能系统中的木马病毒吗？你知道黑客可以通过哪些手段对人工智能系统进行攻击呢？ 在本文中，我们就来聊聊人工智能的安全问题。 作者 | 张重阳 近期wannacry敲诈勒索病毒全球大规模爆发，在全国大范围蔓延，感染用户主要集中在企业、高校等内网环境。中招系统文档、图片资料等常见文件都会被病毒加密，然后向用户勒索高额
刚刚我们在音频里所提到的，是一年前轰动全球的大事件： 2016年5月7号，在美国的佛罗里达州，一辆特斯拉径直撞上一辆行驶中的白色大货车，酿成了世界上自动驾驶系统的第一起致命交通事故。 照理说，特斯拉配备的是当今最顶尖的自动驾驶技术，对这里的人工智能来说，区分好一朵白云和一辆白色大货车，不该是最起码的要求吗？ 事实却是，人工智能在很多地方都不如三岁的小孩，而且很容易被愚弄，黑客们也正在利用这一点。 为此，我们特地请到张重阳博士，深入来聊人工智能的安全话题。我们先来看看张博士对此的介绍。 警惕人工智能中的木
选自arXiv 机器之心编译 参与：Nurhachu Null、蒋思源 近日，Ian Goodfellow 等人提出对抗性同心高维球，他们利用数据流形的维度来研究输入维度的改变对神经网络泛化误差的影响，并表明神经网络对小量对抗性扰动的脆弱性是测试误差的合理反应。 已经有大量工作证明，标准图像模型中存在以下现象：绝大多数从数据分布中随机选择的图片都能够被正确分类，但是它们与那些被错误分类的图片在视觉上很类似（Goodfellow et al., 2014; Szegedy et al., 2014）。这种误
人工智能（AI）可能会催生一种全新的时尚潮流:称之为“预测性时尚”。在ArXiv上发表的一篇论文中，来自加州大学圣地亚哥分校的研究人员和Adobe概述了人工智能不仅可以学习一个人的风格，还可以创造出与
本文作者：kurffzhou，腾讯 TEG 安全工程师 最近，Nature发表了一篇关于深度学习系统被欺骗的新闻文章，该文指出了对抗样本存在的广泛性和深度学习的脆弱性，以及几种可能的解决方法。安全平台部基础研究组自2017年来在对抗样本的生成及防守方法进行了深入研究，在这里团队通过在攻击方面的经验，分享我们对于防守对抗样本的一些思考，欢迎共同讨论。 深度学习在现实生活中的应用越来越广，然而越来越多的例子表明，深度学习系统很容易受到对抗样本的欺骗。那么，AI到底是怎么“想”的？为什么这么容易被骗？ 要
今天给大家介绍来自德国亚琛工业大学韩天宇团队发表在Nature Communications上的文章，文章为了提高病理学检测神经网络模型的鲁棒性，引入对抗训练方法到神经网络模型中，并且提出双批次正则化技术来进一步改进对抗训练方法。该工作在X-ray、CT和MRI图像数据集中进行了实验，实验结果表明提出的双批次正则化对抗训练方法可以获得较高的鲁棒性和准确性，并为预测结果提供了一定的可解释性。
本次比赛总结由谷歌大脑、清华大学以及其它参与研究人员们联合撰写，为你介绍NIPS 2017 对抗样本攻防比赛的情况。 自 Ian Goodfellow 等研究者发现了可以让图像分类器给出异常结果的"对抗性样本"（adversarial sample）以来，关于对抗性样本的研究越来越多。NIPS 2017 上 Ian Goodfellow 也牵头组织了 Adversarial Attacks and Defences（对抗攻击防御）竞赛，供研究人员、开发人员们在实际的攻防比拼中加深对对抗性样本现象和相关技术
论文题目：The Adversarial Attack and Detection under the Fisher Information Metric（AAAI2019）
来源 | AI科技评论 作者 | 高云河 编辑 | 磐石 出品 | 磐创AI技术团队 【介绍】：自 Ian Goodfellow 等研究者发现了可以让图像分类器给出异常结果的「对抗性样本」（adversarial sample）以来，关于对抗性样本的研究越来越多。NIPS 2017 上 Ian Goodfellow 也牵头组织了 Adversarial Attacks and Defences（对抗攻击防御）竞赛，供研究人员、开发人员们在实际的攻防比拼中加深对对抗性样本现象和相关技术手段的理解。 在比赛结束
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
