人工智能医疗是把双刃剑，“对抗性攻击”后可导致误判

去年，美国食品药品监督管理局（FDA）批准了一种人工智能（AI）医疗设备上市，只需捕捉患者视网膜图像，就能自动检测是否有糖尿病性失明征兆。

如今，像这样的新型AI技术正在医疗领域迅速蔓延。科学家们正积极开发着各种AI系统，能够直接或是通过各种各样的影像，帮助识别各类疾病的征兆。

越来越多的AI技术，可能是一把双刃剑。图据《纽约时报》

然而，据《纽约时报》3月21日报道，科学家们开始担心，越来越多被应用到医疗保健服务中的AI技术，可能是一把双刃剑。除了帮助医生高效工作，它更有可能被蓄意操纵，导致误诊，以及其他更严重的后果。

微小的改动就能让AI系统误诊

从识别肺部 X 光片到大脑CT扫描图像……与过去相比，不断涌现的AI系统能帮助医生更有效、更低成本地去评估病人。

未来，这样的AI系统将不仅仅在医院被广泛使用，还可能为医疗监管机构、账单服务公司和保险公司提供帮助。正如AI帮助医生检查病人的眼睛、肺部和其他身体器官一样，它也能帮助保险公司确定赔付金额和保单费用。

理想的情况下，这些系统将有助于提高整个医疗体系的工作效率。然而，美国哈佛大学和麻省理工学院的一组研究人员警告称，这些系统也可能会产生难以想象的严重后果。

3 月 21 日，在《科学》（Science）杂志上发表的一篇论文中，提出了“对抗性攻击”（adversarial attacks）的可能性。

“对抗性攻击”是指利用调整微小的数字数据，改变人工智能系统行为的操作。

在医疗人工智能和其他应用中，输入的微小变化可能导致输出的巨大变化。图据《金融时报》

例如，修改肺部扫描影像的几个像素，就能误导AI系统，把没病的判断成有病，或者把有病的误判成没病。

在新发布的这篇论文中，研究人员证实，通过改变一幅良性皮肤病变图像中的少量像素，就能欺骗一种诊断AI系统，导致其误判病为恶性。他们还发现，通过简单地旋转影像，也能达到同样的目的。

如果对病人病情的书面描述进行一些小的改动，也可改变人工智能的诊断：“酗酒”的诊断结果与“酒精依赖”的不同，“腰痛”和“背痛”的诊断结果也会有所区别。

利用对抗性攻击获利 最终受害者将是患者

随着监管机构、保险公司和医疗账单服务公司开始在其软件系统中使用AI技术，黑客可能入侵系统，导致病人误诊。更有可能发生的一种情况是，医生、医院和其他相关机构或将利用对抗性攻击，操纵医疗账单或保险软件上的AI系统，想方设法获得尽可能多的收益。

例如，如果保险公司使用AI评估医学扫描影像，医院可以通过修改扫描结果，以提高赔付金额。如果监管机构建立了AI系统，用于评估新技术，设备制造商可以通过改变图像和其他数据，以欺骗系统，获得监管部门的批准。

研究人员认为，一旦人工智能深深植根于医疗体系之中，各家企业将逐渐出现能为其带来最大利润的行为。而这其中的受害者，将是患者。

哈佛大学医学院和麻省理工学院的研究人员塞缪尔·芬利森指出，如果医生为了骗过保险公司的AI系统，以获得更多利润，对医学扫描影像或病人的其他数据进行改动。而这些改动将出现在病人的永久记录中，伴随其终身，这将对病人未来的诊断产生影响。

相关机构或将利用对抗性攻击，想方设法获得尽可能多的收益。 图据彭博社

这样的情况并不只是一种假设或不必要的担忧。事实上，由于整个医疗保健行业有大量的资金来往，一些医生、医院和其他组织已经出现了操控软件系统获利的情况。例如，为了提高医疗费用支出，医生们巧妙地修改了账单代码，将简单的X光扫描变为更复杂的扫描等等。

芬利森称，人工智能可能会加剧这个问题。未来几年，软件开发者和监管机构在构建和评估AI系统时，必须考虑这些情况发生的可能性。“医疗信息本身就模糊不明确，再加上财务激励政策经常相互冲突，使得高风险决策因非常微妙的信息变动就会出现摇摆。”

对抗性攻击的担忧与日俱增

这篇新发表的论文加剧了人们对“对抗性攻击”可能性的担忧，从人脸识别服务、无人驾驶汽车到虹膜扫描仪和指纹识别器，其攻击的目标可谓包罗万象。

对抗性攻击利用了众多AI系统设计和构建的一个基本方面——神经网络。人工智能越来越多地受到神经网络的驱动，而神经网络本身是一种复杂的数学系统，通过分析大量数据独立学习任务。例如，通过分析成千上万的眼部扫描图像，神经网络可以学会如何监测糖尿病视网膜病变的征兆。

但这种“机器学习”是建立在巨大规模的基础，也就是无数定义人类行为的不同的数据块之上，以至于一旦接收到不正确的信息，AI系统可能产生意想不到的行为。

2016 年，美国卡耐基梅隆大学的一个研究小组通过印在眼镜框上的图案，成功骗过了面部识别系统，让其误以为戴眼镜的是名人。当研究人员戴上这些眼镜时，系统把他们错误识别成米拉·乔沃维奇（Milla Jovovich）和约翰·马尔科维奇（John Malkovich）。

戴上特殊眼镜，可以骗过人脸识别系统，误以为自己是名人。图据《每日邮报》

2018年，一个研究团队也设计了类似的实验。他们让一名亚洲科学家戴上一顶帽子，将红外光从帽檐下方投射到他脸上。红外光是人眼不可见的，但它可以欺骗面部识别系统，让它错误识别佩戴者是白人音乐家Moby，而不是来自亚洲的科学家。

也有研究曾警告称，对抗性攻击能欺骗无人驾驶汽车，让它们看到不存在的东西。通过对路标做一些微笑的改动，就导致汽车AI系统将停车标志错误地识别为让路标志。

去年年底，美国纽约大学坦顿工程学院的一个研究团队创造了一种虚拟指纹，在22%的情况下，成功骗过了指纹识别器。也就是说，所有使用这些指纹识别器的手机或个人电脑，有22%可能被解锁。

鉴于生物特征安全设备和其他人工智能系统的日益普及，这项研究的影响极其深远。印度已经开始实施世界上最大的基于指纹的身份识别系统，用于发放政府津贴和分派服务。各家银行正在引入人脸识别技术到自动取款机上。与 Google 同属一家母公司的 Waymo等企业，目前正在对无人驾驶汽车进行公共道路测试。

如今，芬利森团队就AI系统在医学领域的使用也发出了同样的警告，目前为止，在医疗保健领域还没有发现前沿的对抗性攻击。但这种潜力是存在的，特别是在医疗账单和保险行业。

然而，作为一名机器学习系统专家，美国宾夕法尼亚大学沃顿商学院助理教授哈姆莎·巴斯塔尼对于引入人工智能是否会让问题变得更加严重提出了质疑。首先，想要在现实中实现对抗性攻击是有难度的；其次，目前还不确定监管机构和保险公司是否打算采用容易受到对抗性攻击的这类机器学习算法。但她又补充道，这个问题的确值得关注：

“（现实中）总会出现意想不到的后果，特别是在医疗保健领域。”

红星新闻记者 徐缓 编译自《纽约时报》

编辑 刘静