项目地址:https://github.com/tensorflow/cleverhans
此资料库包含CleverHans的源代码,CleverHans是一个Python库,用于将机器学习系统中的漏洞与对抗性示例进行对比。 您可以在随附的博客上了解有关此类漏洞的更多信息。
在看人工智能安全方面的资料,顺手看到cleverhans的资料,就将它在python 3.6的环境下进行编译和测试。
随着深度学习模型在各个领域的广泛应用,模型的安全性和防御能力变得尤为重要。攻击者可能会利用模型的漏洞进行对抗性攻击,导致模型输出错误的结果。本文将介绍如何使用Python实现深度学习模型的安全与防御,并提供详细的代码示例。
AI 科技评论按:去年年底,Ian Goodfellow与Nicolas Papernot(是的,就是ICLR 2017的最佳论文得主之一)合作开了一个博客叫cleverhans,主要写一些关于机器学习在安全与隐私问题的文章。一个Goodfellow、一个Papernot,此二神的称呼真是般配呢。 在第一篇博客里,他俩介绍了为什么攻击机器学习要远比防御容易得多。以下是雷锋网AI科技评论编译的第二篇文章,未经雷锋网AI科技评论许可不得转载: 在我们的第二篇博客里,我们此前已经给出了一些背景知识,告诉大家,为什
汉斯的主人是一位退休的中学教师,名叫威廉·冯·奥斯滕。他想弄清楚,通过系统的授课,一匹马的思维能力究竟能提高和发展到什么程度。
深度学习和神经网络的兴起为现代社会带来了各种机会和应用,例如对象检测和文本转语音。然而,尽管看似准确性很高,但神经网络(以及几乎所有机器学习模型)实际上都可能受到数据(即对抗性示例)的困扰,而这些数据是从原始训练样本中进行的非常轻微的操纵。实际上,过去的研究表明,只要您知道更改数据的“正确”方法,就可以迫使您的网络在数据上表现不佳,而这些数据在肉眼看来似乎并没有什么不同!这些对数据进行有意操纵以降低模型精度的方法称为对抗性攻击,而攻击与防御之战是机器学习领域中持续流行的研究主题。
AI科技评论按:近日,OpenAI发表最新研究,论述了AI安全领域的一大隐忧:“对抗样本”,它可以轻易地让机器学习系统产生误判,这会对AI的应用实践产生影响。在这篇由“GANs”之父Ian Goodfellow领衔撰写的文章里,OpenAI针对“对抗样本”进行了防御策略的实验,其中有两种方法效果显著,但也并不能解决根本问题。OpenAI表示设计出抵抗强大、具有适应性攻击者的防御策略,是非常重要的研究领域。本文原载于OpenAI Blog,由AI科技评论编译整理。 “对抗样本”是攻击者故意设计的,被用来输
AI 科技评论按:TensorFlow 是目前最流行的深度学习库,它是 Google 开源的一款机器学习开发框架。Tensor 的意思是张量,代表 N 维数组;Flow 的意思是流,代表基于数据流图的计算。把 N 维数字从流图的一端流动到另一端的过程,就是人工智能神经网络进行分析和处理的过程。
OpenAI研究员Ian Goodfellow等人今天发表文章,详细描述了机器学习模型面临的“对抗范例(adversarial examples)”攻击,以及目前已有的防御方式。 以下内容由量子位编译自OpenAI官方博客。 对抗范例(adversarial examples),是攻击者为了让机器学习模型产生错误而设计的输入数据,就像“机器产生了幻觉”。在这篇文章中,我们将展示对抗范例了如何通过不同媒介进行攻击,并讨论保护系统免受这种攻击难在何处。 在OpenAI,我们认为对抗范例是安全领域一个值得研究的
【新智元导读】这是一份生成对抗(神经)网络的重要论文以及其他资源的列表,由 Holger Caesar 整理,包括重要的 workshops,教程和博客,按主题分类的重要论文,视频,代码等,值得收藏学习。 目录 Workshops 教程 & 博客 论文 理论 & 机器学习 视觉应用 其他应用 幽默 视频 代码 Workshops NIP 2016 对抗训练 Workshop 【网页】https://sites.google.com/site/nips2016adversari
作者:Roman Trusov 编译:元元、桑桑、徐凌霄、钱天培、高宁、余志文 Google brain最近的研究表明,任何机器学习的分类器都可以被误导,然后给出错误的预测。甚至,只需要利用一些小技巧,你就可以让分类器输出几乎任何你想要的结果。 机器学习可能会被“误导”的这一现象,正变得越发令人担忧。考虑到越来越多的系统正在使用AI技术,而且很多系统对保障我们舒适而安全的生活至关重要,比如说,银行、监控系统、自动取款机(ATM)、笔记本电脑上的人脸识别系统,以及研发中的自动驾驶汽车。关于人工智能的安全问题,
对抗样本是指攻击者故意设计以导致机器学习模型出错的输入样本;他们对机器来说就像是视觉幻觉一样。在本篇博文中,我们将向您展示对抗样本在不同介质中的运作原理,也将讨论为何系统难以防御它们。 在 OpenAI,我们认为对抗样本是研究安全性的一个好方面因为它代表着人工智能安全性上一个能在短期内得以解决的具体问题,由于解决对抗样本是如此之难,需要严肃认真的研究工作。(尽管为了达到我们建立安全、广泛分布的人工智能的目标,我们还需要研究机器学习安全性的许多方面。) 为了弄清楚对抗样本的真实面目,请思索一下《解释并驾驭对
随着机器学习模型能力越来越强、效率越来越高,它已经逐步应用到各种实际场景中。但是 AI 模型本身也会面临很多安全问题,最受关注的就是对抗样本,它能欺骗深度模型。这对于很多场景都是毁灭性的,包括身份认证、城市大脑和医疗健康等。
这篇文章是关于如何使用人工智能构建鲁棒的反滥用保护系统系列文章中的第四篇,也是最后一篇。第一篇文章解释了为何 AI 是构建鲁棒的保护系统的关键,这种保护用来满足用户期望和日益提升的复杂攻击。在介绍完构建和启动一个基于 AI 的防御系统的自然过程之后,第二篇博文涵盖了与训练分类器相关的挑战。第三篇文章探讨了在生产中使用分类器来阻止攻击的主要困难。
选自GitHub 参与:蒋思源、吴攀 生成对抗网络(GAN)是近段时间以来最受研究者关注的机器学习方法之一,深度学习泰斗 Yann LeCun 就曾多次谈到 这种机器学习理念的巨大价值和未来前景。在本文中,机器之心总结了 GitHub 上两篇关于 GAN 的资源,其中一篇介绍了 GAN 的一些引人关注的新理论和实践(如 Wasserstein GAN),另一篇则集中展示了大量 GAN 相关的论文。 以下是两篇原文的链接: GAN 理论&实践的新进展:https://casmls.github.io/gene
机器之心整理 演讲者:Ian Goodfellow 参与:吴攀、李亚洲 面向开发者的世界上最大的人工智能主题在线演讲与对话大会 AI WITH THE BEST(AIWTB)于 2017 年 4 月 29-30 日在 AIWTB 官网上通过在线直播的方式举办。作为第三届 AI WITH THE BEST 华语社区独家合作伙伴,今年线上大会机器之心有免费赠门票资格。在此前的问题征集赠票活动中,我们从读者提问中选出了 1 个高质量问题并赠送了参会票。 在本文中,机器之心对这次对话大会上 Ian Goodfell
【导读】当地时间 10月 22 日到10月29日,两年一度的计算机视觉国际顶级会议 International Conference on Computer Vision(ICCV 2017)在意大利威尼斯开幕。Google Brain 研究科学家 Ian Goodfellow 在会上作为主题为《生成对抗网络(Generative Adversarial Networks)》的Tutorial 最新演讲, 介绍了GAN的原理和最新的应用。昨天我们介绍了此内容,请查看 【干货】Google GAN之父Ian
AI 科技评论按:随着人工智能研究的不断发展,由机器学习模型在背后提供支持的功能越来越多地开始商业化,最终用户的生活里机器学习能造成的影响也越来越大。这时候,机器学习的安全和隐私问题也就越来越明显,谁
生成对抗网络(GAN)专知荟萃 一、理论学习 二、报告 三、教程 四、综述 五、中文博客资料 六、Github资源以及模型 七、最新研究论文 一、理论学习 训练GANs的技巧 参考链接:[http://papers.nips.cc/paper/6124-improved-techniques-for-training-gans.pdf] Energy-Based GANs 以及Yann Le Cun 的相关研究 参考链接:[http://papers.nips.cc/paper/4824-imagenet
选自Medium 作者:Alex Honchar 机器之心编译 参与:陈韵竹、刘晓坤 2017 年是机器学习领域最有成效、最具创意的一年。现在已经有很多博文以及官方报道总结了学界和业界的重大突破。本文略有不同,Alex Honchar在Medium发文,从研究者的角度分享机器学习明年发展的走向。机器之心对此行了编译和整理。 本文的预测基于 2012 年以来我关注的学术界和科技巨头实验室的研究思路演变。我所选择的领域,从我的观点来看,都多多少少尚处于发展的初级阶段,但是已经为研究做足了准备,且在 2018 年
近日,清华大学自然语言处理实验室(THUNLP)研发的文本对抗攻击工具包 OpenAttack 继相关论文在 ACL-IJCNLP 2021 Demo 发表后迎来大版本更新,不但重构了大量代码,完善了文档,更新增了多语言支持、多进程处理等重要功能。欢迎前往 GitHub 主页下载试用!
本文介绍了神经网络在计算机视觉领域的应用,包括卷积神经网络、生成对抗网络、循环神经网络等。文章还讨论了训练数据集的重要性、模型的可解释性以及神经网络在医疗、自动驾驶等领域的应用。最后,文章提醒读者,虽然神经网络具有强大的拟合能力,但它们也有许多挑战,如过拟合、训练数据集偏差等。
综合编译 | 焦燕 综合整理 | 鸽子 提到OpenAI,业内可谓无人不知,无人不晓。 这可是人气超人马斯克与众硅谷科技大亨无数次脑洞碰撞后,共同决定成立的,专门用于预防人工智能的灾难性影响的非营利组织。 它的目标非常明确,就是要确保人类安全,确保人类的权益不受未来机器人的影响,确保人类可以长久地与智能机器人共存。 它就专心干这一件事,经费由马斯克等大佬来承担,因此无需在生计方面浪费时间。 OpenAI的文化是:强烈鼓励研究人员发表作品,无论是论文、博客文章,还是代码,并且它的专利(如果有的话)将与世界
AI 研习社按:Nicolas Papernot 在 2017、2018 连续两年的 ICLR 上都发表了关于差分隐私方法 PATE 的论文。如今大家都意识到了隐私问题是模型设计中有必要考虑的因素,设计模型时也愿意考虑 PATE 这样的方法。不过在 cleverhans 博客近期的一篇博客中,Nicolas Papernot、Ian Goodfellow 两人揭示了一项意想不到的发现:对隐私问题的改善其实可以带来表现更好的机器学习模型,两者并不冲突,而是盟友。
AI 科技评论按:Nicolas Papernot 在 2017、2018 连续两年的 ICLR 上都发表了关于差分隐私方法 PATE 的论文。如今大家都意识到了隐私问题是模型设计中有必要考虑的因素,设计模型时也愿意考虑 PATE 这样的方法。不过在 cleverhans 博客近期的一篇博客中,Nicolas Papernot、Ian Goodfellow 两人揭示了一项意想不到的发现:对隐私问题的改善其实可以带来表现更好的机器学习模型,两者并不冲突,而是盟友。
本文探讨了人工智能研究、应用和前景,特别关注了深度学习、强化学习、贝叶斯方法、多模态学习、自然语言处理等领域。作者预测,在2018年,AI将在各个领域取得突破性进展,包括自动驾驶、医疗诊断、机器翻译等方面。同时,作者也指出了AI在安全、隐私、解释性等方面的挑战。
4 月 7 日,来自清华的 RealAI(瑞莱智慧)发布了 RealSafe 人工智能安全平台,随之推出的测试结果令人惊讶:通过平台对微软、亚马逊云服务的人脸比对演示平台进行测试显示,基于 RealSafe 平台生成的对抗样本「噪音」能够极大干扰两大主流人脸比对平台的识别结果。
从重要AI技术应用突破讲起,到展望2019结束。Jeff Dean总结了14个大方面的AI成果,并透露全年AI论文发表数达608篇。
大数据文摘作品,转载要求见文末 原作者 | Adam Geitgey 编译 | 吴双,大力,笪洁琼,Aileen 知己知彼,无论你是想成为黑客(最好不要!)或防范未来黑客的入侵,都有必要来了解一下如何骗过由海量数据训练出来的深度学习模型。 只要有程序员还在编程,黑客们就会不遗余力地找寻利用这些程序的方法。恶意黑客更是会利用程序中最为微小的漏洞来侵入系统,窃取数据,对系统造成严重破坏。 但由深度学习算法驱动的系统应该是能够避免人为干扰的,对吧? 一个黑客怎么能够突破被TB(兆兆字节)级数据训练的神经网络呢?
深度学习的安全性问题已经逐渐被学术界、工业界所认识到并且重视,就文本领域而言,垃圾邮件检测、有害文本检测、恶意软件查杀等实用系统已经大规模部署了深度学习模型,安全性对于这些系统尤为重要。
“几乎所有的AI企业都没有赚到钱,而根源问题在于人工智能技术本身的缺陷——数据与算法的不安全性。”
本文为雷锋字幕组编译的研究博客,原标题 Requests for research。
Google AI和DeepMind的研究人员发布了一个有趣的多任务基准,称为XTREME[1],旨在评估语言模型的跨语言泛化能力,学习多语言表示形式。基准测试benchmark对40种语言和9种不同的任务进行了测试,这些任务需要在语法或语义上对不同级别的含义进行推理。本文还使用最新的模型为多语言表示提供基线结果,例如mBERT,XLM和MMTE。
【AI科技大本营导读】AlphaZero自学成才,机器人Atlas苦练后空翻……2017年,人工智能所取得的新进展真是让人应接不暇。而所有的这些进展,都离不开深度学习一年来在底层研究和技术开发上的新突破。圣诞节前后,Statsbot的数据科学家Ed Tyantov专门评估了深度学习这一年在文本、语音和视觉等方向的各项研究成果,并进一步试图总结出一些可能影响未来的全新趋势。 具体都是些什么呢?我们来看文章。 作者 | Eduard Tyantov 翻译 | 林椿眄 文本 Google神经网络翻译机器 大约
AI正彻底改变每一个数据驱动的机会,有可能带来一个繁荣的新时代,让人类的生活质量达到难以想象的高度。但就像任何突破性的新技术一样,伟大的潜力往往蕴含着巨大的风险。
DeepAction八期飞跃计划还剩9个名额,联系小编,获取你的专属算法工程师学习计划(联系小编SIGAI_NO1)
领取专属 10元无门槛券
手把手带您无忧上云