首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

王山梅教授:人工智能可以取代传统体外药敏试验吗丨ESCMID Global 2024

编者按:人工智能在医疗领域的应用正在不断扩展,包括在药物研发、疾病诊断、患者管理等方面,但在抗菌药物耐药机制筛选方面,人工智能的应用还处于探索阶段。目前,人工智能更多地被用于辅助医生进行决策,来共同推动医疗领域的发展和进步。当地时间2024年4月27~30日,第34届欧洲临床微生物学和感染病学全球峰会(ESCMID Global 2024)在素有“伊比利亚半岛的明珠”之称的西班牙巴塞罗那举办。在本次大会上,报道了多项关于人工智能在医疗领域的最新研究进展,引起了大家对“人工智能是否能够取代体外药敏试验”的讨论。《感染医线》特邀河南省人民医院检验科王山梅教授总结如下。

01 基于GPT-4的人工智能(AI):新的EUCAST专家筛选抗菌药耐药性机制

微生物学专家通常根据表型筛选法,如细菌生长情况、最小抑菌浓度(MICs)、抑菌圈大小等初步判断是否存在AmpC酶等耐药机制,并可通过实验室方法确认。GPT-4是一种多模态大型语言模型,其生成的GPT代理可能支持筛查过程。C. Gieske等人报道的这项研究旨在验证GPT代理标记潜在耐药性的能力。

研究者们收集了225个革兰氏阴性菌分离株的纸片扩散法测量结果,这些分离株分为四个表型类别:疑似“无”、疑似“ESBL”(超广谱β-内酰胺酶)、疑似“AmpC”以及疑似“碳青霉烯酶”。由于质量原因,研究者们排除了部分读数,最终得到862个表型类别数据。接下来,根据EUCAST指南、折点表和专家规则,指导一个生成式GPT代理(版本:2023年11月06日,如图1所示)。研究者们将GPT代理的输出结果与参考标准和4名医学微生物学家的分析结果进行比较,这些医学微生物学家获得了相同的数据。研究者们确定了疑似耐药性的敏感性和特异性。

结果显示,人类读者在862个类别中的779个(90.4%)上表现出了共识,平均使用6个词(四分位距IQR为3~12)进行推理。而EUCAST-GPT-Expert则平均使用155个词(IQR为130~182)进行解释,以及5个词(IQR为4~12)来建议确认步骤。图2展示了专家与EUCAST-GPT-Expert的平均敏感性和特异性。人类专家相比EUCAST-GPT-Expert表现出了更高的特异性,而敏感性则相当。

图1. 基于GPT-4的生成式AI代理验证工作流程

图2. 4名人类专家(中位数)和EUCAST-GPT-Expert的敏感性和特异性的结果

小结:

医学微生物学专家之间显示出不同的意见一致性,并且在论证上相对简短。来自不同中心的专家在解读AmpC时采用了不同的方式(染色体和质粒),这可能是性能差异的原因之一。尽管有知识文档作为指导,生成式GPT代理在论证过程中仍出现了错误。总体而言,GPT代理的敏感性和特异性表现良好。然而,存在一个问题是ESBL(63.8%)和AmpC(84.8%)的非特异性标记。例如,在阿莫西林耐药而阿莫西林/克拉维酸敏感的分离株中标记ESBL,以及在头孢西丁敏感的分离株中标记AmpC。这可能导致额外的测试和更高的成本。需要注意的是,GPT-4并不是经IVDR/FDA批准的工具,因此不应被用于支持诊断决策。然而,研究者们的评估表明多模态AI代理在微生物实验室中具有潜在的应用前景。深入的验证将至关重要,同时还需要用于基准测试的计算机模拟数据集。研究者们的工作也为如何使用AI设置验证研究提供了重要的指导。

02 使用机器学习辅助琼脂稀释法确定最小抑制浓度

为了有效应对全球抗菌药耐药性这一威胁,需要可靠的抗菌药敏感性数据作为支持。然而,传统的MIC检测方法资源消耗大、易受人为错误影响(图2),且需要昂贵的设备才能大规模操作。因此,AIgarMIC应运而生(图1),它旨在简化和标准化MIC的测量过程,以适应各种实验室环境的需求。

A. Gerada等人报道的研究采用琼脂稀释法来测定多种抗菌药(详见图3)对临床革兰氏阴性菌株(n=1086)的MIC,其中主要为大肠杆菌(n=827,76%)。将平板照片分割成覆盖每个接种点的较小图像。在这些图像中,随机选取1319张标记图像来训练一个卷积神经网络,以基于是否存在细菌菌落对图像进行分类。如果存在菌落,则使用第二个模型来确定菌落形态是否显示抗菌生长抑制。保留20%的图像用于模型测试。为了验证最终模型的有效性,将651个手动标注的MIC结果与模型的预测结果进行了比较。

结果显示,在菌落图像的验证数据集上,第一线模型对细菌生长的分类准确率为94.3%。第二线模型将菌落分类为“抑制”或“良好生长”的准确率为88.6%。在验证MIC数据集上,结合两个模型的预测结果与手动标注结果相比,基本一致的比率为98.9%(644/651),偏差为-7.8%。分类一致率为99.2%(646/651),其中小错误率为0.2%(1/651),大错误率为0.5%(3/651),重大错误率为0.2%(1/651)。所有抗菌药的结果均一致,但氯霉素例外,其偏差为-55.4%(即AIgarMIC低估了MIC,这可能是由于该药物在MIC附近容易出现微弱的生长趋势)。

图1 AIgarMIC的实验室和计算工作流程示例

图2 AIgarMIC在区分菌落表型形态异质性和人为因素方面的例子可能包括的几种情况

图3 对于AIgarMIC与手动标注金标准的验证总结

小结:

AIgarMIC利用人工智能自动化和标准化琼脂稀释MIC的解读,提高了实验效率,无需定制设备,同时减少了操作员之间的变异性和手动错误。AIgarMIC降低了实验室在生成高质量MIC数据方面的障碍,这对于抗击抗菌素耐药性至关重要。该项研究的有前景的验证结果支持在更多细菌菌株和抗菌素的不同实验室环境中进行进一步评估。

03 利用机器学习预测抗细菌和抗真菌耐药性

抗菌素耐药性已成为全球新兴的健康问题。常规检测周转时间长,可能导致广谱抗菌药的不当使用。机器学习能够处理大量复杂关系的数据,在等待确诊检测的同时也能发挥作用。

F. Mutisya等人报道的一项研究,通过 Vivli 数据重用挑战获得了pfizer-Atlas抗菌和抗真菌数据集(表1)。关键变量包括年龄、性别、国家、年份、医院科室、家族、物种、表型、基因型、最小抑菌浓度(MIC)以及临床实验室标准研究所的解读。研究者们使用R版本4.3.1清理数据,并获得预测变量,使用Python 3.10训练14个不同的机器学习模型,并使用Streamlit开发Web应用程序。基因型数据主要针对肠杆菌科家族,因此为基因型数据制作了单独的模型。研究者们使用准确率、召回率、精确率和曲线下面积对三个数据集的不同模型进行评分。然后,将得分最高的模型(极限梯度提升)部署到基于Streamlit的Web应用程序中,并附带一般免责声明。

结果显示,金黄色葡萄球菌(17.2%)和白念珠菌(38.3%)分别是最常见的细菌和真菌菌种。不同的MIC水平如图1所示。抗菌数据集中的准确性指标包括:极限梯度提升(92.1%)、轻量级梯度提升(92.0%)、梯度分类器(91.8%)、Ada Boost(91.6%)、线性判别(90.8%)、决策树(88.5%)、支持向量机(88.2%)、哑变量(88%)、朴素贝叶斯(88%)、岭回归(82.4%)、随机森林(63.7%)、二次判别(63.1%)和额外树(45.1%)。Web应用程序(图2)托管了3个预测模型和一个用于自定义数据集的自定义机器学习训练器。由于时间数据仅按年份提供,因此无法使用时间序列技术。

表1 数据集变量与评分指标

图1按临床和实验室标准协会(CLSI)解释的最小抑菌浓度(MIC)分类的细菌分离株计数

图2人工智能驱动的预测Web应用程序设计

小结:

人工智能是建模抗菌和抗真菌数据的可行方法。当以Web应用程序等可视化方式呈现时,它可以成为临床医生在等待最终表型检测时进行初步治疗的有用指南。这有可能改善个别患者的治疗效果,缩短住院时间,并为国家制定抗菌素耐药性缓解策略提供指导。

▌参考文献

[1] C. Gieskeet al.GPT-4 based artificial intelligence (AI)-agents: the new EUCAST expert to screen for antimicrobial resistance mechanisms?. ESCMIDN2024, abstract O0272.

[2] A. Gerada,et al.Determination of minimum inhibitory concentrations using machine learning-assisted agar dilution. ESCMIDN2024, abstract O0269.

[3] F. Mutisya,et al.Using machine learning to predict antibacterial and antifungal resistance. ESCMIDN2024, abstract O0268.

王山梅 教授

河南省人民医院检验科

副主任技师,硕士研究生导师

美国微生物学会(ASM)会员,全国真菌监测联盟学术委员,2018年全国感控百佳医护人员,河南省医学科学普及学会感染预防与控制专业副主任委员,河南省微生物学会临床微生物专业委员会副主任委员,河南省医师协会呼吸医师分会抗感染联盟副组长。主持省科技厅、卫健委攻关项目多项,发表多篇中华、SCI文章。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OPA8WKwCvqfv7Yala6gZ2nvw0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券