勒索病毒刚消停,可比它强悍千百倍的AI病毒,才刚刚开始

前几日肆虐全球的“wannacry”勒索病毒着实让我们惊出一身冷汗。如果这都惊到你了,那你是不知道人工智能系统中木马病毒的厉害,因为它所带来的损失可能不止是金钱,更可能是生命!

但是你了解人工智能系统中的木马病毒吗?你知道黑客可以通过哪些手段对人工智能系统进行攻击呢?

在本文中,我们就来聊聊人工智能的安全问题。

作者 | 张重阳

近期wannacry敲诈勒索病毒全球大规模爆发,在全国大范围蔓延,感染用户主要集中在企业、高校等内网环境。中招系统文档、图片资料等常见文件都会被病毒加密,然后向用户勒索高额比特币赎金。很多计算机用户的重要资料丢失,损失巨大。黑客再一次用血淋淋的事实给我们上了信息安全的重要一课。

在人工智能大潮席卷全球的今天,笔者在此呼吁AI的安全话题不容忽视,我们应时刻警惕,防患未然。AI病毒所带来损失,不仅仅是金钱,更可能是生命!

在“警惕人工智能系统中的木马、病毒 ——深度学习对抗样本简介”一文中,我给大家介绍了对抗样本误导、欺骗人工智能系统的一些情形。本篇文章,我们继续深入剖析对抗样本的特性以及黑客的攻击手段。

1. 对抗样本和人眼差别很小,很难分辨。

正如前篇所述,对抗样本是原有的“干净”的图像加上人眼很难感知到的微小噪声所得到的,对抗样本和原始样本在人眼看来几乎无差别,使得这种“病毒”具有极强的隐身性。

2. 对抗样本具有迁移性。

举例来讲,有三个图像分类系统A、B、C,三个系统用的神经网络模型分别为AlexNet、VGG、ResNet,研究者们发现,基于系统A生成的对抗样本,同样可以欺骗系统B和C。也就是说深度学习的病毒是可以在模型间迁移和传染的,这也给黑客进行黑盒攻击提供了可能。虽然黑客可能无法获取到要攻击的系统的信息,但是可以利用对刚样本迁移的特性实施攻击。

3. 浅层的模型对对抗样本攻击也很脆弱。

有不少人认为正是由于深度神经网络的层数太深,导致了对抗样本的存在,事实上,对抗样本对浅层的模型也可以进行攻击。三层的softmax网络以及线性判别模型,一样很脆弱,容易被对抗样本所欺骗。

黑客攻击首先要进行信息搜集,攻击者掌握的信息包含以下几种情况:

  1. 训练数据及网络结构:攻击者掌握了关于深度神经模型几乎全部的信息,包括用于训练网络的训练数据集、网络结构(具体包含神经网络的层数及类型),神经元的激活函数、权重及偏置项矩阵。攻击者并且还知道训练网络的具体算法,包括具体的损失函数以及采用的优化算法。
  2. 网络结构:攻击者获知了网络结构及参数的信息,获得了每一层的权重、偏置项的信息以及激活函数信息,相比1,攻击者无法获取训练数据以及训练网络时的算法细节。
  3. 网络内部结构、参数信息对于攻击者来讲是黑箱,但是攻击者可以得到该网络的输出信息,攻击者可以观测到不同的输入对于输出造成的影响,对输入进行改动,观测对应输出的变化情况。
  4. 攻击者只能够收集到神经网络部分的输入、输出对,无法通过修改输入来观察对应输出的变化情况。

从攻击者的攻击目标或者后果来看,也分为以下四种情况:

  1. 致使人工智能系统精度下降。比如对于一张萨摩耶的照片,正常情况下系统的分类置信度可以达到90%,而经过攻击后,置信度只有60%。此时智能系统尚未失效。
  2. 致使人工智能系统输出错误。比如把上例子中的萨摩耶错误的分类为猫、或者鱼、或者花等等。但此时只要求系统输出错误即可,至于错判成什么类别,则不做限制。
  3. 误导智能系统错判为指定目标,比如上例子中把误导系统萨摩耶错判成加菲猫,而不是错判成其他别的类别。此时病毒具有了定向攻击效果。
  4. 比3难度更进一步,黑客攻击使得针对任意特定的输入,使得系统输出成为期望误导的结果。比如我要把数字5(不是其他数字)误导计算机识别成9(不是其他数字),把数字4误导计算机识别成8.此类病毒具有定源、定向攻击的效果,危害最大。试想,如果对抗样本误导计算机把禁止通行的标志识别为可以通行,对于无人驾驶系统,后果将是致命性的。

显而易见,信息搜集角度,从1-4,有效信息越来越少,攻击目标角度,从1-4,危害程度越来越大。而从较少的信息实现危害程度较高的攻击,无疑使最为困难的。

以上,介绍了对抗样本的特性以及黑客信息搜集、攻击的多种可能。而实际中发生的情形可能会更多。下一篇文,将会介绍对抗样本的产生机理及算法。AI安全,需要我们共同警惕和守护。

警惕人工智能系统中的木马、病毒 ——深度学习对抗样本简介 https://zhuanlan.zhihu.com/p/25825245

每日荐文

点击下方图片阅读精彩内容

别盲目调参!深度学习要先找到最佳策略

AI 行业实践精选:利用深度学习识别交通信号灯


本文分享自微信公众号 - AI科技大本营(rgznai100)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-05-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FSociety

SQL中GROUP BY用法示例

GROUP BY我们可以先从字面上来理解,GROUP表示分组,BY后面写字段名,就表示根据哪个字段进行分组,如果有用Excel比较多的话,GROUP BY比较类...

5.2K20
来自专栏Ken的杂谈

【系统设置】CentOS 修改机器名

18430
来自专栏钱塘大数据

中国互联网协会发布:《2018中国互联网发展报告》

在2018中国互联网大会闭幕论坛上,中国互联网协会正式发布《中国互联网发展报告2018》(以下简称《报告》)。《中国互联网发展报告》是由中国互联网协会与中国互联...

13750
来自专栏腾讯高校合作

【倒计时7天】2018教育部-腾讯公司产学合作协同育人项目申请即将截止!

16220
来自专栏前端桃园

知识体系解决迷茫的你

最近在星球里群里都有小伙伴说道自己对未来的路比较迷茫,一旦闲下来就不知道自己改干啥,今天我这篇文章就是让你觉得一天给你 25 个小时你都不够用,觉得睡觉都是浪费...

22440
来自专栏怀英的自我修炼

考研英语-1-导学

英二图表作文要重视。总体而言,英语一会比英语二难点。不过就写作而言,英语二会比英语一有难度,毕竟图表作文并不好写。

12310
来自专栏钱塘大数据

理工男图解零维到十维空间,烧脑已过度,受不了啦!

让我们从一个点开始,和我们几何意义上的点一样,它没有大小、没有维度。它只是被想象出来的、作为标志一个位置的点。它什么也没有,空间、时间通通不存在,这就是零维度。

35230
来自专栏腾讯社交用户体验设计

ISUX Xcube智能一键生成H5

51620
来自专栏haifeiWu与他朋友们的专栏

复杂业务下向Mysql导入30万条数据代码优化的踩坑记录

从毕业到现在第一次接触到超过30万条数据导入MySQL的场景(有点low),就是在顺丰公司接入我司EMM产品时需要将AD中的员工数据导入MySQL中,因此楼主负...

30940
来自专栏微信公众号:小白课代表

不只是软件,在线也可以免费下载百度文库了。

不管是学生,还是职场员工,下载各种文档几乎是不可避免的,各种XXX.docx,XXX.pptx更是家常便饭,人们最常用的就是百度文库,豆丁文库,道客巴巴这些下载...

44830

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励