人工智能对医疗行业的威胁

今天为大家介绍的是来自Ingeborg M. Bajema团队的一篇论文。

最近针对OpenAI的一起版权侵犯诉讼引起了广泛的关注，原因是该公司利用了作家们未经授权的作品来训练其GPT算法。这种情况与医学界的情况大不相同。在医学界，医生们自愿将他们的知识和专业技能分享给AI系统，并投入大量时间进行研究。AI迅速且悄无声息地进入医疗领域，以至于似乎其与该行业的互动已被默认接受，没有经过充分的审慎考虑。虽然AI在速度、一致性和准确性方面表现出色，但其运作完全建立在专家知识的基础上。以肾脏病理学为例，全球的病理学家们正在对组织样本进行标注，以训练算法识别如肾小球等基本结构单元。世界各地的许多病理学家正在对组织标本进行注释，以便为算法提供数据，为了让算法识别出像肾小球这样的基本单位，常常需要多达10万条注释。在这巨大的努力之后，算法将瞬间完成它的工作。可以想象，在不久的将来，病理学家不仅会收到肾活检的扫描幻灯片，还会附有一份包含诸如肾小球数量和间质纤维化面积等数据的清单。有了这些现成的信息，病理学家只需专注于更复杂的病变，以生成诊断（图1）。

图 1

这种情况的缺点在于，如果病理学家不再需要亲自评估基本的组织学信息，那么这种技能将逐渐丧失。为什么这会成为一个缺点，而不仅仅是节省时间和提供帮助？毕竟我们知道病理学家在评估中存在一定程度的不一致性。人们常指出，使用AI评估组织切片的一个巨大优势是其一致性和无偏见的表现；然而，有证据表明AI算法也会经历观察者间不同的表现水平。一个重要的风险是，将肾活检的基本元素从病理学家的视野中移除，这些元素在临床病理学日常实践中将越来越少地受到关注，从而使得肾脏的基本结构的真正知识的理解将逐渐减弱。

特别是在缺乏专家肾脏病理学家的地区，由AI生成的结果可能很快就会成为标准，这进一步加速了仅AI情况的发展。而且AI驱动的病理学将非常便宜。最近的一项综述报告称，关于肾脏病理学中AI的27篇文章后来发布了免费使用的工具，而且这种做法越来越普遍。这样做的优势是用户可以更容易地获取到这些工具，这些工具如果由病理学家操作，可能需要花费很多小时。现在任何需要它们的人都可以无需额外费用、立即使用这些工具。立法和监管要求可能会短暂地减缓AI病理学，但这一过程难以遏制，原因包括AI驱动的病理学可以全天候提供服务，且会生成一致的、无可争议的数据，因为在专家欠缺的地方没有其他专业知识可以作为任何争论的基础。

随着技术的发展，医学领域正逐渐向基于输入和输出的模式转变。在病理学中，输入仍然是组织样本，但是分析工作将发生变化，因为AI不需要传统的组织染色来进行工作。输出则是由临床指标来定义的。一个重要的转变是AI驱动的病理学与人类驱动的病理学不同，它基于输入输出理念，通过非监督策略确定组织标本中的关注区域，这些策略可以确定特定像素模式与临床结果之间的关系。AI的一个优势是，它可能识别出病理学家尚未认识到的特定模式。AI通过自学习算法从组织中收集各种数据，抛弃了传统的组织学术语，其观察结果成为临床结果的代理标记，将未明确定义的输入转化为仅关注临床决策的输出，而不需要了解其中的病理过程。目前，这种输入输出策略可能导致关于疾病机制的新假设，甚至可能促进概念验证临床试验的进行。当前时代可以从AI带来的新思想中受益，因为AI实际上是“跳出固定框架”的思考，并提供了我们之前从未想到的构思。但另一方面，如果我们无法理解AI定义的新构造背后的过程，就无法开发出改变相关结果的合理治疗方法。目前的问题是，在基于没有实际意义的组织学构造的概念验证试验中，究竟哪个概念被证明是有效的。最近的研究使用了非监督机器学习来识别在传统肾脏病理学中无名的组织区域，但对这些区域的探索工作很少，这让人质疑AI带来的新观点和假设是否会被视为理所当然，而不是用于科学研究。

如果让这种趋势继续下去，不久的将来，我们对疾病发展背后的病理机制的知识将迅速减少。一旦我们进入一个阶段，在这个阶段中，输出是由输入喂养的“黑箱”所定义，而这个黑箱包含的构造与之前定义的实体不再一致，那么我们今天对疾病机制的大部分知识将被遗忘，我们将被只关注提供最佳可能结果的干预策略的系统所统治。这个时代将表现出同行之间智力辩论的减少，这是计算机科学家们已经警告过我们的时代特征。就像文学作者为控制AI在艺术中的使用而奋斗一样，医生们也应该思考如何在不失去对自己职业的控制的情况下，利用AI在医学中的潜在好处。随着美国发布具有里程碑意义的行政命令，以确保美国在管理AI风险方面走在前列，以及欧盟成为第一个为AI使用设定明确规则的大陆，医生们应该意识到，将AI限制在边界内对于他们职业的生存和对疾病机制的诊断和理解方面的有意义的进步至关重要。

编译 | 曾全晨

审稿 | 王建民

结论

Fogo AB, Kronbichler A, Bajema IM. AI’s Threat to the Medical Profession. JAMA. Published online January 19, 2024.

doi:10.1001/jama.2024.0018