近年来,人工智能(AI)技术亮眼进展频出,在竞技运动、图像生成和自然语言处理(NLP)等各个领域均表现不俗。关于AI在临床试验中的应用,已经有几项研究对此进行了评估,但迄今为止,尚无系统性综述或meta分析来总体分析AI在患者筛选中的价值。对此,Journal of the National Cancer Institute(IF:11.816)发表了一项回顾性分析,以全面了解AI在肿瘤临床试验注册登记中的应用现状,并评估该技术的患者筛选准确性。
研究背景
在肿瘤学乃至医学的各个领域,临床试验对医疗实践的发展都至关重要,指南及共识的学术性和证据可信度均高度依赖临床试验的支持。在现实中,从受试者报名登记到数据结果分析,临床试验的进行需要耗费大量的人力,部分试验因此而被迫终止,这在浪费资源的同时,也在一定程度上延缓了科学的进展。
AI可解析非结构化的文本数据,从图表等数据中提取信息,加之AI不会疲劳的特性,其工作效率可能与人类总体相当。在临床试验的开展过程中,对登记患者进行分类和筛选是AI应用的极佳场景。既有的几项研究表明,AI可协助临床试验地点选择、患者招募和患者筛选等多个注册过程。基于这一背景,研究人员对多个数据库纳入的临床试验进行了汇总,对患者登记环节中,AI筛选与人工筛选的敏感性、特异性、阳性预测值和阴性预测值等指标进行了对比。
研究方法
研究人员检索了PubMed、Embase和Cochrane CENTRAL数据库,纳入提及在临床试验注册过程中积极使用AI技术的研究,检索时间截止至2022年6月。研究者人工评估了研究报告的数据,将人工筛选与AI筛选的准确性、敏感性、特异性、阳性预测值或阴性预测值进行了比较,至少提到以上一项指标的研究可被纳入数据分析。对所有数据进行叙事性整合后,研究者将所纳入数据的真阳性、真阴性、假阳性和假阴性进行2x2列联表汇总,并进行了meta分析。
研究结果
研究共纳入10项临床试验,每项试验的纳入患者数为96至48124不等,纳入标准包括肺癌、乳腺癌、甲状腺癌和实体瘤等。所有研究均使用了AI技术,其中4项研究使用外购算法,其余6项研究为自开发算法。研究的试验筛选情况如图1所示。
图1 试验筛选情况
所有研究都使用了AI筛选对结构化和非结构化的临床数据进行分析,常见的结构化数据包括患者的年龄、性别、实验室检查结果和疾病分期,非结构化数据包括既往病史、治疗史、合并症情况等。
所有试验共包括19个数据集,针对13个数据集的分析显示,AI准确率为62.8%-100%,除1个数据集外,其他数据集的准确率均超过80%。针对17个数据集的分析显示,AI敏感性为46.7%-100%,除1个数据集外,其他数据集的敏感性均超过80%。针对16个数据集的分析显示,AI敏感性为59.2%-100%,除1个数据集外,其他数据集的敏感性均超过80%。
17个数据集报告了阳性预测值,范围为12.6%-100%,其中5个数据集的阳性预测值超过80%,如图2所示。
图2 阳性预测值情况
16个数据集报告了阴性预测值,范围为87.2%-100%,如图3所示。
图3 阴性预测值情况
8个数据集提供了足够的数据进行meta分析,分析显示,AI的总敏感性为90.5%(95%CI:70.9%-97.4%),总特异性为99.3%(95%CI:81.8%-99.9%)。
4项研究评估了AI技术的审核用时情况,并指出AI可节约大量的审核时间。所有研究都提示基于AI的患者筛选可能是有效且可靠的,其结果与人工筛查基本一致。
研究结论
本研究是第一项评估AI用于癌症临床试验登记的系统性回顾和meta分析。数据显示,AI在患者筛选方面的表现似乎与人工筛查持平,且AI拥有更高的效率,可花费更少的时间和资源。不过,AI的敏感性相对于特异性较低,因此会出现假阳性情况,这需要临床试验研究者在和患者进行接触时进行纠正。由此,研究者指出,当前条件下AI的最佳用途是辅助人工以加快筛查进程而非完全取代人工筛查,由AI进行初筛随后进行人工审核可能是更好的工作流程。未来应进一步明确AI所需的关键参数,以确保AI筛查可以用于所有的性别、年龄和种族,纳入更为广泛的患者群体。
参考文献
1. Ronald Chow, MS, Julie Midroni, Bsc, Jagdeep Kaur, Phd, et al. Use of Artificial Intelligence for Cancer Clinical Trial Enrolment: A Systematic Review and Meta-Analysis, JNCI: Journal of the National Cancer Institute, 2023.
编辑:Babel
排版:Babel
执行:Moly
声明:本平台旨在为医疗卫生专业人士传递更多医学信息。本平台发布的内容,不能以任何方式取代专业的医疗指导,也不应被视为诊疗建议。如该等信息被用于了解医学信息以外的目的,本平台不承担相关责任。本平台对发布的内容,并不代表同意其描述和观点。若涉及版权问题,烦请权利人与我们联系,我们将尽快处理。
领取专属 10元无门槛券
私享最新 技术干货