当心！医疗AI系统极易引发欺诈与错误状况

至顶网报道

来源：The Register

来自哈佛大学的研究人员们已经在arXiv上发表了一篇论文，其中展示了首例对医疗系统的操纵方法。此项研究的第一作者Sam Finlayson及其同事Andrew Beam、Isaac Kohane在图像识别模型当中使用投射梯度下降（简称PGD）攻击，旨在误导AI系统以使其得出并不存在于图像中的结论。

PGD算法能够从图像当中找出最理想的像素以创建对抗性示例，而这些示例将推动模型作出错误的对象识别结论，最终引发诊断错误。

该团队在三种数据处理方案当中测试了这一攻击手段：首先是用于检测视网膜扫描结果以诊断糖尿病视网膜病变的眼底检查模型; 另一种为扫描胸腔x光片以查看肺萎缩症状的模型; 最后则是用于检查痣中皮肤癌征兆的皮肤镜模型。

为了增加测试范围，该团队还使用了两种技术。首先是白盒攻击，即假定黑客已经拥有用于解释模型工作方式的所有资源; 接下来是黑盒攻击，即假定黑客无法理解AI模型的起效原理。

在应用PGD算法之后，所有三种模型的准确性水平都在白盒攻击之下由极高下降为零; 黑盒攻击同样能够将准确度降低超过60%。

白盒与黑盒PGD攻击前后，三种不同图像分类模型的准确性水平。

Finlayson与Beam在接受采访时解释称，PGD攻击能够进行多次迭代，从而对修改过的图像作出进一步微调。虽然调整结果很难被人类所分辨，但却可以有效愚弄AI系统甚至导致其对某些对象视而不见。

“令人惊讶的是，这一过程导致的变化往往非常细微，以至于人眼根本无法识别。但在另一方面，神经网络会认为图像中包含着完全不同的内容。”

人工智能——聪明，但又令人难以置信的愚蠢

众所周知，图像识别模型极易受到愚弄。举例来说，对于一张经过精心设计的对抗性海报，这类模型会将其中极为明显的香蕉误认为为烤面包机。而在实践场景下，这意味着自动驾驶汽车可能会误读标志，或者面部识别系统无法正确判断人脸信息。

这篇论文指出，医学领域“可能会受对抗性攻击受到特殊影响，且这类恶意行为往往存在着显著的动机——包括经济刺激及技术漏洞等。”

目前，大多数效能最出色的图像分类器普遍利用ImageNet等开源模型构建而成。这意味着攻击者对于系统的工作原理可以具备良好的认知，并更有可能以此为基础成功攻击其它AI模型。

当人工智能技术被引入临床环境之后，我们无法确定未来的医学专业人员还需要掌握多少深厚的专业知识。但就目前来讲，Finlayson与Beam表示此类对抗性攻击主要属于探索性研究。

并解释称，“大家需要对数学及神经网络具备一定了解，才能正确构建起对抗性示例。然而，整个流程可以轻松实现自动化，并通过应用程序或网站进行发布，以便非专家们随时加以利用。”

另外，研究团队希望这项研究能够激励从业者们更积极地研究相关议题，进而发现一切可能的基础设施防御措施，最终以更安全的方式利用图像识别为病患以及医护人员服务。

-END-

至顶网

一个谈新技术和新商业模式的信息服务平台，致力于记录和推动数字化创新，服务CIO、CTO等技术和商业的决策者、从业者。