AI 科技评论按：当前的语音识别技术发展良好，各大公司的语音识别率也到了非常高的水平。语音识别技术落地场景也很多，比如智能音箱，还有近期的谷歌 IO 大会上爆红的会打电话的 Google 助手等。本文章的重点是如何使用对抗性攻击来攻击语音识别系统。本文发表在 The Gradient 上，AI科技评论将全文翻译如下。
机器之心报道 机器之心编辑部 ICLR 2018 大会的接收论文中，8 篇有关防御对抗样本的研究中，7 篇已经被攻破了——在大会开幕三个月之前。来自 MIT 和 UC Berkeley 的研究者定义了一种被称为「混淆梯度」（obfuscated gradients）的现象。在面对强大的基于优化的攻击之下，它可以实现对对抗样本的鲁棒性防御。这项研究引起了深度学习社区的讨论，GAN 提出者 Ian Goodfellow 也参与其中，并作了反驳。 GitHub 链接：https://github.com/anis
选自arXiv 作者：Pin-Yu Chen 、Yash Sharma、Huan Zhang、Jinfeng Yi、Cho-Jui Hsieh 机器之心编译 腾讯 AI Lab 在 2018 年 AAAI 中入选论文 11 篇，其中一篇与 IBM Research、The Cooper Union 和加州大学戴维斯分校合作的论文入选口头报告（Oral）。这篇论文提出一种基于弹性网络正则化的攻击算法，该算法将对抗样本攻击 DNN 的过程形式化为弹性网络正则化的优化问题。此外，对基于 L1 失真攻击的评估为对抗
如今一些深度神经网络对于一些对抗性样本(Adversarial sample)是弱势的, 对抗性样本就是指我们对输入进行特定的改变, 通过原有的学习算法最终导致整个网络内部出现误差, 这属于攻击的一种, 然而, 现在的攻击都是要么计算代价特别大, 要么需要对目标的模型和数据集有大量的先验知识, 因此, 这些方法在实际上其实都不实用. 该文章主要介绍了一种程序性噪声, 利用该噪声, 使得构造实用的低计算量的黑盒攻击成为了可能, 对抗鲁棒性的神经网络结构, 比如Inception v3和Inception ResNet v2 在ImageNet数据集上. 该文章所提出来的攻击实现了低尝试次数下成功造成错分类. 这种攻击形式揭露了神经网络对于Perlin噪声的脆弱性, Perlin噪声是一种程序性噪声(Procedural Noise), 一般用于生成真实的纹理, 使用Perlin噪声可以实现对所有的分类器都实现top1 至少90%的错误率, 更加令人担忧的是, 该文显示出大多数的Perlin噪声是具有"普适性"(Universal)的, 在对抗样本中, 数据集的大部分, 使用简单的扰动使得高达70%的图片被错误分类
#Swift for TensorFlow Swift for TensorFlow 为 TensorFlow 提供了一种新的编程模型，将 TensorFlow 计算图与 Eager Execution 的灵活性和表达能力结合在了一起，同时还注重提高整个软件架构每一层的可用性。 本项目的设计基础是 Graph Program Extraction 算法，它可以让你用 Eager Execution 式的编程模型来轻松地实现代码，同时还保留 TensorFlow 计算图的高性能优势。此外，本项目还将高级的自动
本文共1700字，建议阅读6分钟。 本文为你精选近期Github上的13款深度学习开源工具包和数据集，一起Star和Fork吧～
不管人工智能和机器学习系统在生产中宣称的稳健性如何，没有一个系统能够完全抵御对手的攻击，也没有一个技术能够通过恶意输入来愚弄算法。结果表明，即使在图像上产生很小的扰动，也能以很高的概率愚弄最好的分类器。考虑到“人工智能即服务”业务模式的广泛推广问题，亚马逊、谷歌、微软、克拉里菲等公司已经将易受攻击的系统提供给最终用户。
摘要：我们为已经被噪声破坏的可压缩信号提供恢复保证，并扩展了[1]中引入的框架，以防御神经网络对抗l0范数和ℓ2范数攻击。具体地说，对于在某些变换域中近似稀疏并且已经被噪声扰动的信号，我们提供了在变换域中准确恢复信号的保证。然后，我们可以使用恢复的信号在其原始域中重建信号，同时在很大程度上消除噪声。我们的结果是通用的，因为它们可以直接应用于实际使用的大多数单位变换，并且适用于l0范数有界噪声和l2范数有界噪声。在l0-norm有界噪声的情况下，我们证明了迭代硬阈值（IHT）和基础追踪（BP）的恢复保证。对于ℓ2范数有界噪声，我们为BP提供恢复保证。理论上，这些保证支持[1]中引入的防御框架，用于防御神经网络对抗敌对输入。最后，我们通过IHT和BP对抗One Pixel Attack [21]，Carlini-Wagner l0和l2攻击[3]，Jacobian Saliency Based攻击[18]和DeepFool攻击[17]对CIFAR进行实验证明这个防御框架-10 [12]，MNIST [13]和Fashion-MNIST [27]数据集。这扩展到了实验演示之外。
在本文中，我们提出了一种基于胶囊层（Capsule layer，Sabour et al., 2017; Qin et al., 2020）的网络和检测机制，它可以精确地检测到攻击，对于未检测到的攻击，它通常也可以迫使攻击者生成类似于目标类的图像（从而使它们被偏转）。我们的网络结构由两部分组成：对输入进行分类的胶囊分类网络，以及根据预测的胶囊（predicted capsule）的姿态参数（pose parameters）重建输入图像的重建网络。
安妮 夏乙 发自 凹非寺 量子位 出品 | 公众号 QbitAI 搞机器学习的这帮人在Twitter上又炸了。 起因是一名叫Anish Athalye的小哥率先“放出狠话”。 “对抗样本防御仍是一个未
对抗样本是各种机器学习系统需要克服的一大障碍。它们的存在表明模型倾向于依赖不可靠的特征来最大限度的提高性能，如果受到干扰，可能会导致错误分类，带来潜在的灾难性后果。对抗性样本的非正式定义可以认为是，输入被以一种人类难以察觉的方式修改后，机器学习系统会将它们错误分类，而没有修改的原始输入却能被正确分类。下图就说明了这种情况：
编译 | 姗姗 出品 | 人工智能头条（公众号ID：AI_Thinker） 【人工智能头条按】谷歌大脑最近研究表明，任何机器学习分类器都可能被欺骗，给出不正确的预测。在自动语音识别（ASR）系统中，深度循环网络已经取得了一定的成功，但是许多人已经证明，小的对抗干扰就可以欺骗深层神经网络。而目前关于欺骗 ASR 系统的工作主要集中在白盒攻击上，Alzantot 等人证明利用遗传算法的黑盒攻击是可行的。 而在接下来为大家介绍的这篇加州大学伯克利分校机器学习团队的论文中，引入了一个新的黑盒攻击领域，特别是在深层
AI 科技大本营按：谷歌大脑最近研究表明，任何机器学习分类器都可能被欺骗，给出不正确的预测。在自动语音识别（ASR）系统中，深度循环网络已经取得了一定的成功，但是许多人已经证明，小的对抗干扰就可以欺骗深层神经网络。而目前关于欺骗 ASR 系统的工作主要集中在白盒攻击上，Alzantot 等人证明利用遗传算法的黑盒攻击是可行的。
作者：Yao Qin、Nicholas Carlini、Ian Goodfellow等
机器之心原创 作者：邱陆陆 想要让深度学习系统走向大街小巷、走进千家万户，就要在算法研发阶段给出系统的鲁棒性检验。对于图像对抗性攻击的讨论正是如火如荼，攻防双方都是妙手频出的状态。例如，来自 MIT 和 UC Berkeley 的两位博士生，Anish Athalye 和 Nicholas Carlini 就接连攻破了 7 篇 ICLR 2018 接收的对抗防御文章，指出，你们的防御策略不过都是基于「混淆梯度」（obfuscated gradient）现象的「虚假安全感」。虽然 Ian Goodfellow
近日，由蚂蚁集团、清华大学等组织共同协办的首届「Inclusion|A-tech 科技精英赛」(以下简称 A-tech 大赛)圆满落幕。奥比中光科技集团股份有限公司 (以下简称「奥比中光」) 研究院 SDK 组负责人小蛮腰、算法工程师埼玉（均为花名）从全球 20 位优秀 AI 工程师与网络安全极客选手中脱颖而出，与战队队友共同斩获大赛头名。
选自BAIR 机器之心编译 参与：Panda 因为感知细节的能力和识别方式等方面的差异，在人类眼中看起来差别不大的东西在机器看来则可能具有非常不同的意义。近日，伯克利人工智能研究实验室（BAIR）在博客上介绍了他们在真实世界中的对抗攻击上的研究新成果，有望为自动驾驶等人工智能应用领域带来新的思考和见解。该研究的论文已经发布：https://arxiv.org/abs/1707.08945，研究者还表示进一步的研究也正在进行中。 深度神经网络（DNN）已经在图像处理、文本分析和语音识别等各种应用领域取得了很
深度学习模型被广泛应用到各种领域，像是图像分类，自然语言处理，自动驾驶等。以ResNet，VGG为代表的一系列深度网络在这些领域上都取得了不错的效果，甚至超过人类的水平。然而，Szegedy等人在2014年的工作（Intriguing properties of neural networks）揭示了深度网络的脆弱性（vulnerability），即在输入上做一些微小的扰动（perturbation）就可以令一个训练好的模型输出错误的结果，以下面这张经典的熊猫图为例：
选自arXiv 作者：Naveed Akhtar等 机器之心编译 参与：许迪、刘晓坤 这篇文章首次展示了在对抗攻击领域的综合考察。本文是为了比机器视觉更广泛的社区而写的，假设了读者只有基本的深度学习和图像处理知识。不管怎样，这里也为感兴趣的读者讨论了有重要贡献的技术细节。机器之心重点摘要了第 3 节的攻击方法（12 种）和第 6 节的防御方法（15 种），详情请参考原文。 尽管深度学习在很多计算机视觉领域的任务上表现出色，Szegedy et al. [22] 第一次发现了深度神经网络在图像分类领域存在有意
论文标题：Towards Evaluating the Robustness of Neural Networks
随着机器学习模型能力越来越强、效率越来越高，它已经逐步应用到各种实际场景中。但是 AI 模型本身也会面临很多安全问题，最受关注的就是对抗样本，它能欺骗深度模型。这对于很多场景都是毁灭性的，包括身份认证、城市大脑和医疗健康等。
AI的介入会进一步升级目前的网络犯罪与网络安全体系，进而成为攻击者与防御者之间军备竞赛的核心支柱之一。
【导读】近日，深度学习顶会ICLR2018评审结果出炉，得分最高的论文是 《Certifiable Distributional Robustness with Principled Adversarial Training》，得到的是9,9,9的高分，三个评审人都给出了非常肯定的评价，这篇论文主要是针对在有对抗样本时，神经网络会非常脆弱，训练集中有个别的对抗样本常常就会导致训练的模型完全失效的问题，如何利用神经网络学到鲁棒的数据分布是一个非常重要的研究方向，论文提出一种称作分布鲁棒优化的方法来确保模型在有
编辑 | 萝卜皮 近年来，深度学习已证明自己是网络安全中非常有价值的工具，因为它可以帮助网络入侵检测系统对攻击进行分类并检测新攻击。对抗性学习是利用机器学习生成一组受扰动的输入，然后馈送到神经网络以对其进行错误分类的过程。目前对抗性学习领域的大部分工作都是在图像处理和自然语言处理中使用各种算法进行的。 Citadel 的研究人员最近开发了一种深度神经网络（DNNs），可以检测一种称为分布式拒绝服务（DDoS）DNS 放大的网络攻击，然后使用两种不同的算法生成可以欺骗 DNN 的对抗性示例。 该研究以「A D
AI 科技评论按：自 Ian Goodfellow 等研究者发现了可以让图像分类器给出异常结果的「对抗性样本」（adversarial sample）以来，关于对抗性样本的研究越来越多。NIPS 2017 上 Ian Goodfellow 也牵头组织了 Adversarial Attacks and Defences（对抗攻击防御）竞赛，供研究人员、开发人员们在实际的攻防比拼中加深对对抗性样本现象和相关技术手段的理解。
在对抗攻击场景下，攻击者通过对合法输入的微扰生成对抗样本（Adversarial Example, AE），并试图使用对抗样本使目标深度学习（DL）模型误分类。由于DL模型在对抗样本的攻击下较为脆弱，因此限制了深度学习应用于具有较高安全性要求的领域，如自动驾驶、人脸识别、恶意软件检测等。防守方通常希望增强模型对对抗样本的防御能力，同时又能最大限度地保证模型的分类性能。虽然学术界和工业界对对抗样本的研究逐渐深入，攻击和防御手段在不断更新，但是仍很难说明哪些攻击样本隐蔽性或可转移性更高，或者哪种防御方法更加有效通用。
来源 | AI科技评论 作者 | 高云河 编辑 | 磐石 出品 | 磐创AI技术团队 【介绍】：自 Ian Goodfellow 等研究者发现了可以让图像分类器给出异常结果的「对抗性样本」（adversarial sample）以来，关于对抗性样本的研究越来越多。NIPS 2017 上 Ian Goodfellow 也牵头组织了 Adversarial Attacks and Defences（对抗攻击防御）竞赛，供研究人员、开发人员们在实际的攻防比拼中加深对对抗性样本现象和相关技术手段的理解。 在比赛结束
本次比赛总结由谷歌大脑、清华大学以及其它参与研究人员们联合撰写，为你介绍NIPS 2017 对抗样本攻防比赛的情况。 自 Ian Goodfellow 等研究者发现了可以让图像分类器给出异常结果的"对抗性样本"（adversarial sample）以来，关于对抗性样本的研究越来越多。NIPS 2017 上 Ian Goodfellow 也牵头组织了 Adversarial Attacks and Defences（对抗攻击防御）竞赛，供研究人员、开发人员们在实际的攻防比拼中加深对对抗性样本现象和相关技术
而复旦大学副教授黄增峰一人署名的论文《Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices》则和 DeepMind、斯坦福大学的两篇论文一同位居「亚军」论文行列。
今天，机器学习顶会ICML的论坛可谓是炸了锅了——提交论文的作者们陆续收到了评审结果，可谓是几家欢喜几家愁。
选自Wired 作者：Tom Simonite 机器之心编译 参与：路雪、黄小天 2 月 3 日，来自 MIT、UC Berkeley 的 Athalye 等人宣布其研究攻破了 ICLR 2018 大
近年来，深度学习领域的进展与深度学习框架的开发同步进行。这些框架为自动微分和 GPU 加速提供了高级且高效的 API，从而可以利用相对较少和简单的代码实现极度复杂和强大的深度学习模型。
论文题目：The Adversarial Attack and Detection under the Fisher Information Metric（AAAI2019）
谷歌大脑、MaxPlanck和苏黎世联邦理工学院合作的《挑战无监督分离式表征的常见假设》，以及剑桥大学的一篇《稀疏变分高斯过程回归的收敛速率》作为最佳论文摘得桂冠。另外，还有七篇论文获得提名奖。
AI 科技评论按：日前谷歌大脑负责人 Jeff Dean 在推特上转了一篇 Anish Athalye 的推文，推文内容如下： 防御对抗样本仍然是一个尚未解决的问题，三天前公布的 ICLR 接收论文里
【导读】 ICML （ International Conference on Machine Learning），国际机器学习大会如今已发展为由国际机器学习学会（IMLS）主办的年度机器学习国际顶级会议。今天，第35届 ICML 大会在瑞典的斯德哥尔摩正式召开，与大家一同分享这一领域在这一年里的突破。ICML 2018 共有 2473 篇论文投稿，共有 621 篇论文杀出重围入选获奖名单，接受率接近25%。其中 Google 强势领跑，Deep Mind 、FaceBook和微软也是精彩纷呈；而在高校中 UC Berkeley 和 Stanford 、CMU 以近 30 篇荣登 Top 榜。
通过IIR以及高通滤波器去噪，导出声音、振动频谱图来描述两个领域中人们抓握的手部生物特征，并基于 CNN ，SNR进行用户身份验证。
据了解，今年ICML共提交3424篇论文，其中录取774篇，论文录取率为22.6%。录取率较去年ICML 2018的25%有所降低。
鉴于直接操作数字输入空间中的图像像素的能力，对手可以很容易地产生难以察觉的扰动来欺骗深度神经网络(DNN)的图像分类器，正如前面的工作所证明的那样。在这项工作中，我们提出了ShapeShifter，这是一种解决更具挑战性的问题的攻击，即利用物理上的对抗扰动来愚弄基于图像的目标检测器，如Faster 的R-CNN。攻击目标检测器比攻击图像分类器更困难，因为需要在多个不同尺度的边界框中误导分类结果。将数字攻击扩展到物理世界又增加了一层困难，因为它需要足够强大的扰动来克服由于不同的观看距离和角度、光照条件和相机限制而造成的真实世界的扭曲。结果表明，原提出的增强图像分类中对抗性扰动鲁棒性的期望变换技术可以成功地应用于目标检测设置。变形机可以产生相反的干扰停止信号，这些信号经常被Faster R-CNN作为其他物体错误地检测到，对自动驾驶汽车和其他安全关键的计算机视觉系统构成潜在威胁。
AI 科技评论按：计算机编程发展至今，bug 和软件就一直如影随形。多年来，软件开发人员已经创建了一套在部署之前进行测试和调试的最佳方法，但这些方法并不适用于如今的深度学习系统。现在，机器学习的主流方法是基于训练数据集来训练系统，然后在另一组数据集上对其进行测试。虽然这样能够显示模型的平均性能，但即使在最坏的情况下，保证稳健或可被接受的高性能也是至关重要的。对此，DeepMind 发布文章介绍了能够严格识别和消除学习预测模型中的 bug 的三种方法：对抗测试（adversarial testing）、鲁棒学习（robust learning）和形式化验证（formal verification）。AI 科技评论编译如下。
随着深度学习的发展，越来越多的应用使用到深度学习技术，而在有些应用中，我们可能无法获取到足够多的训练数据，这时就需要使用一些半监督或无监督方法来完成我们到目标。Google Research从2019-2020期间提出了多个半监督学习方法，一次次打破了各个任务的半监督SOTA，本文就来浅析Google Research于2020年发表的FixMatch方法。
随着计算机产业发展带来的计算性能与处理能力的大幅提高，人工智能在音视频识别、自然语言处理和博弈论等领域得到了广泛应用。在此背景下，确保人工智能的核心——深度学习算法具有可靠的安全性和鲁棒性至关重要。
我们身处一个巨变的时代，各种新技术层出不穷，人工智能作为一个诞生于上世纪50年代的概念，近两年出现井喷式发展，得到各行各业的追捧，这背后来自于各种力量的推动，诸如深度学习算法的突破、硬件计算能力的提升、不断增长的大数据分析需求等。从2017年的迅猛发展，到2018年的持续火爆，国内外各个巨头公司如腾讯、阿里、百度、Google、微软、Facebook等均开始在人工智能领域投下重兵，毫无疑问，这一技术未来将会深度参与我们的生活并让我们的生活产生巨大改变：人工智能时代来了！
【导读】专知内容组整理了最近五篇语音识别（Automatic Speech Recognition, ASR）相关文章，为大家进行介绍，欢迎查看! 1. Audio Adversarial Examples: Targeted Attacks on Speech-to-Text（音频对抗样本:针对语音到文本的攻击） ---- ---- 作者：Nicholas Carlini,David Wagner 摘要：We construct targeted audio adversarial examples on
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
