当AI被“蒙蔽”,犯罪分子能做些什么?

我曾见过你们人类绝对无法置信的事物;

我看见战舰在猎户星座边缘被击中,燃起熊熊火光;

我看见C射线划过天国之门,闪耀在无边的幽暗中;

然而所有片段,所有瞬间,都将湮没于时间的洪流;

就像泪水消逝在濛濛雨中。

——《银翼杀手》

在被强制“退役”前,人工智能复制人Roy发出的这段独白,成为了为世人所铭记的一段经典台词。星际、战舰、光明、幽暗……所有的恢弘与奇观,在时间面前不过是沧海一粟。当我们用肉眼来审视这个世界时,AI机器人也通过“眼中所见”来感受整个寰宇。

与人类眼中的世界不同,AI能将亿万年时光的诸般纷纭并发眼底,能帮助人类在极短时间内辨别和处理海量图片。无可否认,AI目前在计算视觉领域的飞速发展令人惊喜。

然而,当AI踏着科幻般的脚步在现实中一步步向我们走来,安全风险与挑战也随之而至。我们不妨来思考一个问题:有没有一种可能,机器所看到的并非是现实?AI会不会欺骗了我们?

看见不存在的东西?这张照片轻松骗过了机器

在威廉•吉布森的科幻小说中有这么一个情节:人们发明了一件奇丑无比的T恤,但神奇之处在于,这是一件能在监控摄像下“隐身”的衣服。因此,只要穿上这件T恤,就能神乎其技地躲开监控。归根结底,是这件T恤完美“蒙骗”了机器。

如今,这已经不完全是科幻概念了。像科幻作品中“丑T恤”这样的发明,在目前的AI攻防研究中已经有了具体表现。这里先举个例子:

图1(出自Adversarial Examples In The Physical World

当我们以肉眼辨别图1中的事物,应该绝大多数的人都对“这是洗衣机”没有异议。安平基研团队通过Google图像识别工具对图1进行测试,结果也是显示为“洗衣机(89%可信)”。看来对于图1,人类与AI基本达成了一致。

我们再来看看下面图2:

图2(出自Adversarial Examples In The Physical World

乍看之下,图2只是比图1模糊了一点,我们人类仍可看出是洗衣机。但当我们用Google图像识别工具去测试,得到的结果却截然不同——“家具(53%可信)”。这一次恐怕我们难以同意AI了,图中事物顶多是家电,说是家具实在有点牵强。

从“洗衣机”到“家电”,为何两张看似相同的照片,得到的结果会大相径庭?实际上,只要对图像进行细微的改变,算法就会认为这个图像包含了一些实际上没有的东西。这些改变是人类肉眼难以察觉到的。因此,你甚至可以改变蛋糕照片的几个像素,然后欺骗机器让它认为这是一枚炸弹。

图:Google将大熊猫“变为”长臂猿

这就是人类看起来还是相同的图片,但AI却会识别错误的原因。当AI自信满满地指着大熊猫的照片说:“嗨,人类朋友们,这是一只长臂猿。”我们当然没法接受这个结果。

如此一来,复制人Roy所说的“我曾见过你们人类绝对无法置信的事物”,也就一语成谶了。

当AI被“蒙蔽”,坏人能够做出哪些事?

我们知道,在安全过滤系统、自动驾驶汽车、工业机器人这些领域里,AI的图像识别能力至关重要,一点点差错就能酿成大祸。一旦犯罪分子通过各种方式来“蒙蔽”AI机器,甚至可以进行传播黄暴恐、蓄意谋杀等犯罪活动,想想都不寒而栗。下面我们举几个例子,来看看坏人能够做出哪些坏事:

1、传播黄暴恐

我们知道,无论鉴黄师的功力有多深厚,都无法人工审核平台上的所有照片和视频。所以在目前的信息安全工作中,除了鉴黄老司机,AI也是一股不可忽视的强大力量。但我们试想一下,一旦坏人利用欺骗性图像来攻破AI算法,就能让机器把色情图片识别为正常图片,从而绕过色情审核,大肆传播色情淫秽信息以获利。同理,除了小黄图以外,犯罪分子还能利用这种技术来传播暴力、反动、恐怖主义宣传图片。

图:变造图片后,某平台检测的涉黄程度从接近100%大幅下降

2、用于谋杀

坏人利用这种欺骗性图像的手法,还可以使科幻作品中的“自动驾驶汽车杀人事件”变成现实。试想一下,如果犯罪分子恶意篡改交通标志,比如把“弯道指示”改成“直行”,就能蒙骗无人驾驶汽车,直接危害人们的生命安全。尽管攻防研究表明,这些图像对于AI算法的欺骗率还难以达到百分百,但如果发生在无人驾驶汽车上,即使是10%的欺骗率也足以产生致命的后果。

图:变造图片后,某平台的正确识别率从99%降至50%

以上所举例的场景只是冰山一角,尽管这些情形暂时只是假设,但研究测试表明这完全能够成为现实。值得注意的是,这种攻击手法不仅仅表现在图像上,音频、视频等都是潜在的攻击形式。

人与人之间的战争

人类和AI的不解之缘,从上世纪50年代就拉开了序幕,并将一直延续下去。与其说这是人类与人工智能之间的博弈,不如说这是好人与坏人之间的对抗战。因为在人工智能上的任何一丝可乘之隙,都会被黑产或恐怖分子深挖成贪欲和犯罪的深渊。不可否认,这是黑产分子一个潜在的、杀伤力强大的攻击手段。

研究这里面的安全风险对抗,有助于提高机器学习算法的准确性,帮助我们发现并解决潜在的安全威胁。这一条路还很漫长,还有很多未知值得我们去不断探索,钻坚研微。

欢迎联系我们

如果小伙伴们有任何疑问或建议,

欢迎留言或联系腾讯安平AI攻防研究团队:

(3297581267@qq.com)

期待与大家共同交流探讨,一起发掘更多的可能...

原文发布于微信公众号 - TEG云端专业号(TEGYunduan)

原文发表时间:2017-05-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

最强数据集50个最佳机器学习公共数据,可以帮你验证idea!

外国自媒体mlmemoirs根据github、福布斯、CMU官网等信息,整理了一张50个最佳机器学习公共数据集的榜单,量子位为大家分享一下~

15250
来自专栏小樱的经验随笔

定性预测方法

引题: 定性预测方法是一种依靠人的主观判断预测未来的方法。这种方法不可能提供有关事件的确切的定量的概念,而只能定性的估计某一事件的发展趋势、优劣程度和发生的概率...

36890
来自专栏大数据文摘

CapOne:一直在做随机试验

26290
来自专栏CDA数据分析师

收藏丨学习数据科学不可错过的优质资源

大约两个月前,我开始学习数据科学。我并没有统计学、数学、数据科学、工程学、经济学方面的学位。说实话,在学生时代,数学和统计并不是我的强项,我更擅长语言方面。

9810
来自专栏机器之心

尊重女性:全球顶级AI学术会议NIPS现在要改名了(你也来投一票)

每个了解 AI 的人都知道 NIPS 的大名。自 1987 年诞生起,这一学术会议已经走过了 30 余年的历史。作为人工智能和机器学习领域最重要的盛会之一,每年...

5920
来自专栏钱塘大数据

【数据视觉盛宴】2017最美可视化作品欣赏

“信息之美奖”全名为“凯度信息之美奖”(The Kantar Information is Beautiful Awards),是为了嘉奖信息与数据可视化的优秀...

40140
来自专栏AI研习社

教你如何利用算法原理,让TA对你一见钟情

本文作者Mackenzie Cozart,原文刊载于www.women.com。 选题 翻译 / 王奇文 校对 / 张丹婷 整理 / 雷锋字幕组 本文介绍美国社...

32660
来自专栏新智元

17岁!Kaggle史上最年轻Grandmaster诞生:高中自学3年登顶

在AI和大数据圈的人,应该没有不知道Kaggle的,这是全球首屈一指的数据科学、机器学习竞赛和分享平台。去年被谷歌收购时还一度引发业界轰动。企业和研究者可以在K...

14420
来自专栏量子位

顶会ICML特别开设“怼日”Workshop,意见不同您尽管来

前有NIPS获奖者登台开炮称机器学习是炼金术,怀念质疑各种想法不严谨的“学术警察”;后有马库斯NIPS研讨会上强硬质疑哈萨比斯,认为AlphaZero依赖了某些...

10110
来自专栏新智元

Swarm AI 精确预测超级碗最终比分,大逆转剧情难逃群集智能预测

【新智元导读】昨天美国超级碗的比赛戏剧性十足。但是,如果告诉你,一家 AI 公司的预测平台早在开赛前就已经成功地精确预测出了最后的比分,这是不是更令人震撼?这家...

353110

扫码关注云+社区

领取腾讯云代金券