研究发现人工智能可被“障眼法”欺骗

Facebook研究人员发现，当前的人工智能可被“障眼法”欺骗，即认为自己“看到了”一些不存在的物体。

对人工智能（AI）来说，眼见不一定为实。机器学习系统有可能受到欺骗，以至于听到或看到并不存在的东西。

我们已经知道，戴上一副漂亮的眼镜，有可能成功欺骗人脸识别软件，让它将你识别为其他人。但Facebook的研究表明，同样的方法也可以骗过其他算法。

这种技术被称为对抗样本。它可以被黑客用于欺骗无人驾驶汽车，使其忽略停车标志，或者阻止闭路电视摄像机从人群中发现嫌犯。

将一只猫的照片进行轻微改动，并将其呈现给一个识别算法，该算法可能认为这是一只狗。然而，这些改动可能是非常细微的，以致于人类根本无法告诉算法这个形象是经过改动的。

Facebook的AI研究员MoustaphaCissé和他的同事们发现，类似的技术（他们称之为Houdini）可以通过在图像和声音中加入少量的数字噪声来愚弄语音识别和机器视觉系统，而这些噪声不可能被人类察觉到。

要找到一种能够欺骗这种系统的方式，黑客只需要知道在面对特定情况时，算法看到或听到了什么内容。

虽然没有证据表明在现实世界中已经存在这类攻击，但牛津大学的研究人员表示，这只是一个时间问题，我们迟早会看到它们的出现。该研究人员表示：目前我们没有任何防护手段，尽管易遭受这些攻击的系统已经被用于闭路电视摄像机。

宾夕法尼亚州立大学（Pennsylvania State University）的Nicolas Papernot表示同意上述观点。他说道：机器学习很可能被用于攻击系统。我们需要更多的研究来发明新的机器学习技术，以便能够将其用于防御。

一个花招

Cissé发现，无人驾驶汽车中使用的图像分类算法有可能忽略行人或停放的车辆。他说：“我认为我们应该考虑如何确保用于汽车的神经网络是安全的。”

Facebook的研究表明，这种方法也可以扩展到语音识别系统。Cissé的团队将少量的数字噪音插入到一段谈话录音中，并将该录音播放给Google语音识别应用程序。

面对这个对抗样本，应用程序将它识别成了一个与原录音内容完全不同的句子。

但并不是所有人都认为这种攻击会在现实世界中发挥作用。伊利诺伊大学香槟分校的David Forsyth制作了一个虚假的停车标志，利用数字化方法对其进行了改动，以愚弄这种算法。

他发现，当一个移动的相机捕捉到这些标志时——就像将这些相机装在一辆无人驾驶汽车内的情况一样——它们并没有成功骗过这个算法。他表示，对抗样本可能在完美的条件下发挥作用，但在现实世界中，如光线和视角等因素可能会使它们的成功率大大降低。这些攻击可能没有看起来那么容易成功。

AI研究实验室OpenAI通过博文对Forsyth的论文作出回应，表示即使从不同的距离和角度观察图像，也有可能成功欺骗图像识别算法。

Forsyth说：“主要问题是，我们仍然不知道为什么算法对于人类永远不会注意到的微小变化如此敏感。我们对算法的内部运行机制基本上一无所知。”