专栏首页TEG云端专业号的专栏当AI被“蒙蔽”,犯罪分子能做些什么?

当AI被“蒙蔽”,犯罪分子能做些什么?

我曾见过你们人类绝对无法置信的事物;

我看见战舰在猎户星座边缘被击中,燃起熊熊火光;

我看见C射线划过天国之门,闪耀在无边的幽暗中;

然而所有片段,所有瞬间,都将湮没于时间的洪流;

就像泪水消逝在濛濛雨中。

——《银翼杀手》

在被强制“退役”前,人工智能复制人Roy发出的这段独白,成为了为世人所铭记的一段经典台词。星际、战舰、光明、幽暗……所有的恢弘与奇观,在时间面前不过是沧海一粟。当我们用肉眼来审视这个世界时,AI机器人也通过“眼中所见”来感受整个寰宇。

与人类眼中的世界不同,AI能将亿万年时光的诸般纷纭并发眼底,能帮助人类在极短时间内辨别和处理海量图片。无可否认,AI目前在计算视觉领域的飞速发展令人惊喜。

然而,当AI踏着科幻般的脚步在现实中一步步向我们走来,安全风险与挑战也随之而至。我们不妨来思考一个问题:有没有一种可能,机器所看到的并非是现实?AI会不会欺骗了我们?

看见不存在的东西?这张照片轻松骗过了机器

在威廉•吉布森的科幻小说中有这么一个情节:人们发明了一件奇丑无比的T恤,但神奇之处在于,这是一件能在监控摄像下“隐身”的衣服。因此,只要穿上这件T恤,就能神乎其技地躲开监控。归根结底,是这件T恤完美“蒙骗”了机器。

如今,这已经不完全是科幻概念了。像科幻作品中“丑T恤”这样的发明,在目前的AI攻防研究中已经有了具体表现。这里先举个例子:

图1(出自Adversarial Examples In The Physical World

当我们以肉眼辨别图1中的事物,应该绝大多数的人都对“这是洗衣机”没有异议。安平基研团队通过Google图像识别工具对图1进行测试,结果也是显示为“洗衣机(89%可信)”。看来对于图1,人类与AI基本达成了一致。

我们再来看看下面图2:

图2(出自Adversarial Examples In The Physical World

乍看之下,图2只是比图1模糊了一点,我们人类仍可看出是洗衣机。但当我们用Google图像识别工具去测试,得到的结果却截然不同——“家具(53%可信)”。这一次恐怕我们难以同意AI了,图中事物顶多是家电,说是家具实在有点牵强。

从“洗衣机”到“家电”,为何两张看似相同的照片,得到的结果会大相径庭?实际上,只要对图像进行细微的改变,算法就会认为这个图像包含了一些实际上没有的东西。这些改变是人类肉眼难以察觉到的。因此,你甚至可以改变蛋糕照片的几个像素,然后欺骗机器让它认为这是一枚炸弹。

图:Google将大熊猫“变为”长臂猿

这就是人类看起来还是相同的图片,但AI却会识别错误的原因。当AI自信满满地指着大熊猫的照片说:“嗨,人类朋友们,这是一只长臂猿。”我们当然没法接受这个结果。

如此一来,复制人Roy所说的“我曾见过你们人类绝对无法置信的事物”,也就一语成谶了。

当AI被“蒙蔽”,坏人能够做出哪些事?

我们知道,在安全过滤系统、自动驾驶汽车、工业机器人这些领域里,AI的图像识别能力至关重要,一点点差错就能酿成大祸。一旦犯罪分子通过各种方式来“蒙蔽”AI机器,甚至可以进行传播黄暴恐、蓄意谋杀等犯罪活动,想想都不寒而栗。下面我们举几个例子,来看看坏人能够做出哪些坏事:

1、传播黄暴恐

我们知道,无论鉴黄师的功力有多深厚,都无法人工审核平台上的所有照片和视频。所以在目前的信息安全工作中,除了鉴黄老司机,AI也是一股不可忽视的强大力量。但我们试想一下,一旦坏人利用欺骗性图像来攻破AI算法,就能让机器把色情图片识别为正常图片,从而绕过色情审核,大肆传播色情淫秽信息以获利。同理,除了小黄图以外,犯罪分子还能利用这种技术来传播暴力、反动、恐怖主义宣传图片。

图:变造图片后,某平台检测的涉黄程度从接近100%大幅下降

2、用于谋杀

坏人利用这种欺骗性图像的手法,还可以使科幻作品中的“自动驾驶汽车杀人事件”变成现实。试想一下,如果犯罪分子恶意篡改交通标志,比如把“弯道指示”改成“直行”,就能蒙骗无人驾驶汽车,直接危害人们的生命安全。尽管攻防研究表明,这些图像对于AI算法的欺骗率还难以达到百分百,但如果发生在无人驾驶汽车上,即使是10%的欺骗率也足以产生致命的后果。

图:变造图片后,某平台的正确识别率从99%降至50%

以上所举例的场景只是冰山一角,尽管这些情形暂时只是假设,但研究测试表明这完全能够成为现实。值得注意的是,这种攻击手法不仅仅表现在图像上,音频、视频等都是潜在的攻击形式。

人与人之间的战争

人类和AI的不解之缘,从上世纪50年代就拉开了序幕,并将一直延续下去。与其说这是人类与人工智能之间的博弈,不如说这是好人与坏人之间的对抗战。因为在人工智能上的任何一丝可乘之隙,都会被黑产或恐怖分子深挖成贪欲和犯罪的深渊。不可否认,这是黑产分子一个潜在的、杀伤力强大的攻击手段。

研究这里面的安全风险对抗,有助于提高机器学习算法的准确性,帮助我们发现并解决潜在的安全威胁。这一条路还很漫长,还有很多未知值得我们去不断探索,钻坚研微。

欢迎联系我们

如果小伙伴们有任何疑问或建议,

欢迎留言或联系腾讯安平AI攻防研究团队:

(3297581267@qq.com)

期待与大家共同交流探讨,一起发掘更多的可能...

本文分享自微信公众号 - TEG云端专业号(TEGYunduan),作者:华珊珊

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-05-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 微信支付兴起,万亿级用户交易记录存储的挑战

    微信红包的火热带动微信支付的迅猛发展,每天的微信支付交易记录会达到 20 亿。本文将就微信支付背后的交易记录系统的重构优化历程进行一次全面的呈现。

    TEG云端专业号
  • 【kieranliu(刘晓江)】AI入门从用机器学习解决某个实际工作问题开始

    kieranliu(刘晓江),2016年9月加入TEG AI Lab,之前在微软亚洲研究院从事自然语言研究,拥有10年的自然语言研究和开发经验。“自然语言处理高...

    TEG云端专业号
  • 超燃,这是一首专属TEG技术人的MV

    TEG云端专业号
  • DataRobot:人工智能道德规范,通过遵循伦理实践来建立信任(一)

    随着机器学习和人工智能的发展,似乎每个人都想进入这一领域,人工智能承诺提高准确性、速度、可伸缩性、个性化、一致性和业务各个领域的清晰度。有了这些优势,为什么有些...

    AiTechYun
  • 观点 | 扎克伯克驳斥人工智能威胁论:马斯克的观点极不负责

    AI 科技评论按:不管是在医疗、教育还是其他领域,AI技术让人类享受到前所未有的进步。但有利必有弊,特斯拉的CEO马斯克就提出了人工智能威胁论,他表示在30年之...

    AI科技评论
  • 【谷歌AI拜年】画出可爱小狗,祝您狗年笑口常开

    新智元报道 来源:Quartz; arXiv 编辑:小七 【新智元导读】谷歌研究人员最近做了一项实验:给人们展示AI生成的图画,并收集那些使人类发笑的图...

    新智元
  • MIT波士顿咨询联合报告:在AI这件事上,多数企业都眼高手低

    李杉 李林 编译整理 量子位 出品 | 公众号 QbitAI 有多少高管认为人工智能可以帮他们的公司开辟新业务呢?75%。 看好AI,认为这项技术能给自己公司带...

    量子位
  • 谷歌PAIR瞄准 AI 交互,开源两大机器学习可视化数据工具

    【新智元导读】谷歌昨天宣布启动新的研究计划 People + AI Research(PAIR),旨在改善人与人工智能系统的交互体验。谷歌同时宣布开源两个数据可...

    新智元
  • 00后当道,今秋开学的AI专业的本科生究竟学什么?

    500万AI人才缺口,必须从本科抓起!正值开学季,不少同学在刚刚过去的夏天,选择了心仪的专业,即将迈入大学校门。上个月,清华、南大、西交大等26所高校联合申请设...

    AI科技大本营
  • 巨头纷纷布局人工智能,创业者的机会在哪里?

    编者注:本文翻译自 TechCrunch,作者 Hossein Rahnama 是美国麻省理工学院和瑞尔森大学的客座教授,同时也是创业公司 Flybits 的 ...

    华章科技

扫码关注云+社区

领取腾讯云代金券