对抗攻击：骗过神经网络，改变一个像素就够了

每周一条油管频道 Arxiv Insights 视频

雷锋网：原标题'How neural networks learn' - Part II: Adversarial Attacks，视频、文章由雷锋字幕组编译。

翻译 | 刘宁    校对 | 凡江    整理 | 吴璇

当下的图像识别技术看似愈发成熟了，但神经网络还是会犯错，特别是碰到人为伪造图片时，神经网络基本识别无能：

比如你只要带上这幅特制3D眼睛，在神经网络的眼里，你就算已经化成灰了，他根本识别不出来你是谁。

再比如你伪造个车牌，神经网络直接就懵了，基本上全世界的交通摄像头都识别不出来你是真是假。

想要骗过神经网络，也不要什么超高伎俩，随便动动手脚，在原图上增加一点噪音，或是更改一些像素点就成了。但是想骗过人类就难了，我们通常都能知道某张图是伪造的或是人为制作出来的。

假如我们输入一张熊猫的图片，通过卷积神经网络的计算，它被归类为是熊猫。神经网络的运作过程是：在神经网络输出层中随机选择输出神经元（并非代表熊猫的神经元）将梯度下降法运用于输入熊猫图片的像素点最大限度地激活目标神经元。但是，如果我们采用调整输入图片像素值，就能骗过神经网络，从而得到错误的分类。

对抗样本不仅可以用于计算机视觉领域，还可以用于自然语言处理领域。像在Amazon，booking，TripAdvisor等网站的信息，大多源于用户在网站上反馈的评价，评价通常会用感情分析来处理和汇总。仅仅修改评价中的几个字，就能完全反转模型对情感的判断。

本视频将介绍对抗攻击及其防御的相关知识，并从以下几个方面介绍：

什么是对抗样本？

对抗样本出现在哪些场合？

对抗样本有什么特性？

如何防御对抗样本？

视频讲解通俗易懂，有兴趣钻研的童鞋可以参考

产生和防御对抗样本的新方法 | 分享总结

。

雷锋网提供视频原址：https://www.youtube.com/watch?v=4rFOkpI0Lcg&t=902s

更多文章，关注雷锋网，雷锋字幕组（leiphonefansub）精选YouTube视频编译，带大家用碎片时间阅览前沿技术，了解 AI 领域的最新研究成果。