如何避免AI“指鹿为马” | 京东AI“读心术”破解“对抗样本攻击”难题

来这里找志同道合的小伙伴！

《三体》里曾说

“打败人类的不是无知和弱小，而是傲慢。”

万万没想到

打败AI的也是这种“自以为是”。

故事还得从头说起

你以为你以为的就是你以为的吗？

话说那是一个晴朗的午后，

听完群臣的发言，秦二世胡亥彻底茫然了。

他始终想不明白，

赵高明明骑的是一头鹿，

为什么大家却会说它是马呢？

“指鹿为马”的这个故事，如果从安全的角度来解释，我们可以视作赵高对群臣（AI）发起了一次对抗样本攻击，于是让AI做出了“马”的判断。

也许大家要问了，“对抗样本攻击”到底是个啥东西，为什么能对AI系统造成这么大的干扰？

近年来，随着深度学习的兴起，人工智能的发展迎来了新的高潮，我们图像、语音、自然语言处理等多个方面取得了突破性的进展。

然而，在深度学习“高歌前行”的时候，研究者们惊恐地发现，基于深度神经网络模型的系统，很容易被欺骗愚弄。

研究者在最新的研究中发现，在原图中添加肉眼不可见的干扰元素，就能轻松让AI从96.93%相信图片里是河豚改判为99.99%相信图片里是螃蟹。

上述由恶意的攻击者故意设计生成的以欺骗人工智能系统的样本被称为对抗样本（adversarial samples）。

对抗样本的杀伤力有多大其实并不难理解，以无人驾驶技术为例，如果攻击者利用对抗样本攻击将减速路标混同为加速路标，就能迷惑AI系统，造成不可逆的交通事故。

在深度学习被广泛应用的背景下，如何在给定的任务上达到高精度成为深度学习的首要任务。其实现有的深度学习模型在很多任务上都可以达到超过98%的精度，但是有些情况最后的2%是致命的，特别是对于安全应用。

那么问题来了，为什么对抗样本攻击能够对AI系统造成这么大的影响呢？

答案其实也很简单，就仨字：不解释！

具体来说就是因为AI在输出的时候只会告诉你一个结果，而从来不提判断依据。就如前面案例中所说，它会告诉你该图像是螃蟹，却从不会解释为什么是螃蟹。

面对AI我们就如同面对一个封闭的黑盒。

氮素，对此我们真就无能为力吗？

>>>> 一套针对AI的“读心术”

事实上并非如此，要破解这个难题，只要理解AI是怎么想的，便可以按图索骥，找到破解之法。

或许你会问：AI都是人造出来的，了解它怎么想的还不容易吗？其实不然，这就好像我们读一本哲学书，拆开的字都认识，但合起来的句子却一知半解。

为此，京东的硅谷团队专门研发了一套针对AI的“读心术”。在最近举办的DEFCON CAAD Village 上，团队成员郭文博介绍了该技术的最新研究成果。

众所周知，当我们无法直接解释未知事物的时候，通常会用一个近似的已知事物去类比，通过对已有规律的演化，便能推断出那个未知事物的情况。

这就好比在不知道圆周率的情况下，我们无法直接算出圆的面积，但倘若将圆无限划分为正多边形，这个正多边形的面积就可以近似看成圆的面积，由此，圆的面积便可轻松破解。

同理，我们只要构建一个类似AI判断逻辑的模型，就可以秒懂AI了。

二话不说，直接上图：

其中，上图为目前常用的解释技术、而下图则是我们的解释技术。对比后不难发现。同样一只猫，上图仅能解释出一些背景，而下图则基本可以识别猫的全貌。

此外，安全专家还悄悄告诉小编，目前国际上还没有一个真正的系统可以对安全驱动的AI系统作出合理解释，我们这套技术可以说是遥遥领先。

>>>> 未来将会利用在三大业务场景

这个“读心术”更厉害的地方还在后面，宾夕法尼亚大学的邢新宇教授表示，他发现该技术和京东业务结合将会产生有趣的化学反应，特别是以下三个场景，AI解释技术将大有可为。

1、漏洞研究

任何系统都有漏洞，一直以来，我们的安全策略都是“哪有漏洞补哪里”。

但是，如何确保我们可以在黑产之前发现漏洞呢？

解释系统恰恰提供了这样的可能，它就好像机器的嘴，能不断和工程师交流，从而快速的反馈出机器的真实想法，从一个人单干升级为两个人团战，因此可以大幅度提升查找漏洞的效率。

据了解，很多安全研究员都十分钟情这套系统，他们表示，看到人工智能的分析深受启发，帮助自己拓宽了思路。

2、黑产标记

通过AI技术来标记“恶意账号”，是京东安全保障用户信息安全的重要一环。事实上，该技术已经十分成熟了，但至今仍未大规模使用，很大一部分原因，就是因为机器无法解释。

就像医生看病，一定会有病症分析，然后才会开方抓药，不然就算给你药你也不敢吃呀。

如今有了这个AI解释技术，你的每一次作案手段都清清楚楚，即便有些黑产想抵赖也没有理由了。

3、图形码验证

每当我们登录京东页面时，都会有一个图形码验证。每到大型购物节，很多黑产为了降低成本，都会注册很多恶意账号，然后用机器集中操作，实现刷票、薅羊毛等不法行为。

如今有了这套解释系统，便可轻松理解黑产的机器逻辑，然后有针对性地升级图形验证码，直接致盲黑产。

据了解，人工智能解释技术只是开始，未来还会有更多超级武器会在京东部署，共同保障每个京东用户的信息安全。