当AI被“蒙蔽”，犯罪分子能做些什么？

我曾见过你们人类绝对无法置信的事物；

我看见战舰在猎户星座边缘被击中，燃起熊熊火光；

我看见C射线划过天国之门，闪耀在无边的幽暗中；

然而所有片段，所有瞬间，都将湮没于时间的洪流；

就像泪水消逝在濛濛雨中。

——《银翼杀手》

在被强制“退役”前，人工智能复制人Roy发出的这段独白，成为了为世人所铭记的一段经典台词。星际、战舰、光明、幽暗……所有的恢弘与奇观，在时间面前不过是沧海一粟。当我们用肉眼来审视这个世界时，AI机器人也通过“眼中所见”来感受整个寰宇。

与人类眼中的世界不同，AI能将亿万年时光的诸般纷纭并发眼底，能帮助人类在极短时间内辨别和处理海量图片。无可否认，AI目前在计算视觉领域的飞速发展令人惊喜。

然而，当AI踏着科幻般的脚步在现实中一步步向我们走来，安全风险与挑战也随之而至。我们不妨来思考一个问题：有没有一种可能，机器所看到的并非是现实？AI会不会欺骗了我们？

看见不存在的东西？这张照片轻松骗过了机器

在威廉•吉布森的科幻小说中有这么一个情节：人们发明了一件奇丑无比的T恤，但神奇之处在于，这是一件能在监控摄像下“隐身”的衣服。因此，只要穿上这件T恤，就能神乎其技地躲开监控。归根结底，是这件T恤完美“蒙骗”了机器。

如今，这已经不完全是科幻概念了。像科幻作品中“丑T恤”这样的发明，在目前的AI攻防研究中已经有了具体表现。这里先举个例子：

图1（出自Adversarial Examples In The Physical World）

当我们以肉眼辨别图1中的事物，应该绝大多数的人都对“这是洗衣机”没有异议。安平基研团队通过Google图像识别工具对图1进行测试，结果也是显示为“洗衣机（89%可信）”。看来对于图1，人类与AI基本达成了一致。

我们再来看看下面图2：

图2（出自Adversarial Examples In The Physical World）

乍看之下，图2只是比图1模糊了一点，我们人类仍可看出是洗衣机。但当我们用Google图像识别工具去测试，得到的结果却截然不同——“家具（53%可信）”。这一次恐怕我们难以同意AI了，图中事物顶多是家电，说是家具实在有点牵强。

从“洗衣机”到“家电”，为何两张看似相同的照片，得到的结果会大相径庭？实际上，只要对图像进行细微的改变，算法就会认为这个图像包含了一些实际上没有的东西。这些改变是人类肉眼难以察觉到的。因此，你甚至可以改变蛋糕照片的几个像素，然后欺骗机器让它认为这是一枚炸弹。

图：Google将大熊猫“变为”长臂猿

这就是人类看起来还是相同的图片，但AI却会识别错误的原因。当AI自信满满地指着大熊猫的照片说：“嗨，人类朋友们，这是一只长臂猿。”我们当然没法接受这个结果。

如此一来，复制人Roy所说的“我曾见过你们人类绝对无法置信的事物”，也就一语成谶了。

当AI被“蒙蔽”，坏人能够做出哪些事？

我们知道，在安全过滤系统、自动驾驶汽车、工业机器人这些领域里，AI的图像识别能力至关重要，一点点差错就能酿成大祸。一旦犯罪分子通过各种方式来“蒙蔽”AI机器，甚至可以进行传播黄暴恐、蓄意谋杀等犯罪活动，想想都不寒而栗。下面我们举几个例子，来看看坏人能够做出哪些坏事：

1、传播黄暴恐

我们知道，无论鉴黄师的功力有多深厚，都无法人工审核平台上的所有照片和视频。所以在目前的信息安全工作中，除了鉴黄老司机，AI也是一股不可忽视的强大力量。但我们试想一下，一旦坏人利用欺骗性图像来攻破AI算法，就能让机器把色情图片识别为正常图片，从而绕过色情审核，大肆传播色情淫秽信息以获利。同理，除了小黄图以外，犯罪分子还能利用这种技术来传播暴力、反动、恐怖主义宣传图片。

图：变造图片后，某平台检测的涉黄程度从接近100%大幅下降

2、用于谋杀

坏人利用这种欺骗性图像的手法，还可以使科幻作品中的“自动驾驶汽车杀人事件”变成现实。试想一下，如果犯罪分子恶意篡改交通标志，比如把“弯道指示”改成“直行”，就能蒙骗无人驾驶汽车，直接危害人们的生命安全。尽管攻防研究表明，这些图像对于AI算法的欺骗率还难以达到百分百，但如果发生在无人驾驶汽车上，即使是10%的欺骗率也足以产生致命的后果。

图：变造图片后，某平台的正确识别率从99%降至50%

以上所举例的场景只是冰山一角，尽管这些情形暂时只是假设，但研究测试表明这完全能够成为现实。值得注意的是，这种攻击手法不仅仅表现在图像上，音频、视频等都是潜在的攻击形式。

人与人之间的战争

人类和AI的不解之缘，从上世纪50年代就拉开了序幕，并将一直延续下去。与其说这是人类与人工智能之间的博弈，不如说这是好人与坏人之间的对抗战。因为在人工智能上的任何一丝可乘之隙，都会被黑产或恐怖分子深挖成贪欲和犯罪的深渊。不可否认，这是黑产分子一个潜在的、杀伤力强大的攻击手段。

研究这里面的安全风险对抗，有助于提高机器学习算法的准确性，帮助我们发现并解决潜在的安全威胁。这一条路还很漫长，还有很多未知值得我们去不断探索，钻坚研微。

欢迎联系我们

如果小伙伴们有任何疑问或建议，

欢迎留言或联系腾讯安平AI攻防研究团队：

（3297581267@qq.com）

期待与大家共同交流探讨，一起发掘更多的可能...