网络攻击会让人工智能系统做出错误判定

人工智能工具在从自动驾驶汽车到医学影像解读等应用中具有巨大潜力。然而，一项新研究发现，这些人工智能工具比之前认为的更容易受到有针对性的攻击，这些攻击会迫使人工智能系统做出错误的决策。

争议的焦点在于所谓的“对抗性攻击”，这种攻击通过操纵输入到人工智能系统中的数据来迷惑它。例如，有人可能知道在停车标志的特定位置贴上特定类型的贴纸，就能有效使人工智能系统看不见停车标志。

或者黑客可以在X射线机器上安装代码，改变图像数据的方式，导致人工智能系统做出不准确的诊断。

“大部分情况下，你可以对停车标志进行各种修改，一个被训练用于识别停车标志的人工智能系统仍然会知道它是一个停车标志。”新工作的合著者、北卡罗来纳州立大学的电气与计算机工程副教授吴天福（音）说。

“然而，如果人工智能系统存在漏洞，并且攻击者知道这个漏洞，攻击者可以利用这个漏洞引发事故。”

吴及其合作者的新研究专注于确定这类对抗性漏洞在人工智能深度神经网络中的普遍程度。

他们发现这些漏洞比之前认为的要常见得多。

“而且，我们发现攻击者可以利用这些漏洞强迫人工智能将数据解读为他们所希望的样子。”吴说。

“这极其重要，因为如果一个人工智能系统不能抵御这类攻击，你就不会想要将这个系统投入实际应用——尤其是那些可能影响人类生活的应用场合。”

为了测试深度神经网络对这些对抗性攻击的漏洞性，研究人员开发了一款名为QuadAttacK的软件。该软件可以用于测试任何深度神经网络的对抗性漏洞。

“基本上，如果你有一个训练有素的人工智能系统，并且用干净的数据进行测试，那么人工智能系统将按照预测的方式运行。QuadAttacK观察这些操作，并学习人工智能如何根据数据做出决策。这使得QuadAttacK能够确定如何操纵数据来欺骗人工智能。然后，QuadAttacK开始向人工智能系统发送被操纵的数据，观察人工智能的反应。如果QuadAttacK发现了一个漏洞，它可以快速让人工智能看到QuadAttacK希望它看到的内容。”

在概念验证测试中，研究人员使用QuadAttacK测试了四个深度神经网络：两个卷积神经网络（ResNet-50和DenseNet-121）以及两个视觉变换器（ViT-B和DEiT-S）。选择这四个网络是因为它们在全球范围内的人工智能系统中广泛使用。

“我们惊讶地发现这四个网络都对对抗攻击非常脆弱。”吴说，“我们尤其惊讶于我们可以如此精细地调整攻击，让网络看到我们希望它们看到的内容。”

研究团队已经公开提供了QuadAttacK，以便研究界可以使用它来测试神经网络的漏洞。

“现在我们可以更好地识别这些漏洞，下一步是找到减少这些漏洞的方法。”吴说，“我们已经有了一些潜在的解决方案，但相关工作的结果还在进行中。”