Nat. Mach. Intell. | 资源意识在医疗人工智能中的重要性

编译 | 曾全晨 审稿 | 王建民

今天为大家介绍的是来自Yiyu Shi和Xiaowei Xu团队的一篇综述论文。人工智能和机器学习（AI/ML）模型已被广泛应用于医疗保健领域，从医学图像计算和分析到持续健康监测和管理。最近的数据显示，AI/ML模型的大小、计算复杂性、内存消耗以及所需训练数据和成本的规模正经历指数级增长。目前的计算硬件平台、存储基础设施、网络和领域专业知识的发展跟不上AI/ML模型对资源不断增长的需求。在这里，作者首先分析了这一最近趋势，并强调AI/ML在医疗保健领域存在资源可持续性问题。然后，作者提出了各种算法/系统创新，以帮助解决这些问题。

随着生物医学领域可用数据不断增加，人工智能和机器学习（AI/ML）模型在广泛的医疗保健应用中展现出巨大的潜力。在各种医疗保健应用中，AI/ML模型的性能已被证明与甚至优于人类专家的表现。在医疗保健领域采用AI/ML模型大大降低了劳动成本，并使医生从繁琐的手工工作中解放出来。随着计算能力的增加和不断增长的医疗保健数据，目前的AI/ML模型在推理性能方面取得了更好的表现，但其大小和对资源的需求正呈指数级增长。不幸的是，随着模型规模的指数增长，以及计算复杂性的增加和医疗数据量的快速增长，准确的AI/ML模型的开发面临着关键的可持续性问题，涉及能源、存储、计算能力、网络和领域专业知识等方面的资源。对于拥有强大计算基础设施的医疗保健应用，大型AI/ML模型运行所消耗的能量也可能面临不可持续性问题，这是因为硬件平台的进展放缓。随着模型规模的增加，训练所需的健康数据量也会大幅增加。对于可以通过网络连接轻松访问云服务器的医疗保健应用，升级和维护当前存储基础设施将面临存储可持续性问题，这会带来高昂的成本（在预算通常有限的情况下）。对于仅限于嵌入式硬件边缘计算的应用，能源、计算能力、网络和存储可持续性问题更加严峻，因为在诸如安全性、隐私和延迟等方面已经存在约束。

除了与硬件相关的可持续性问题，对健康数据标记的不可持续的领域专业知识也限制了AI/ML在医疗保健领域的发展。尽管已经尝试解决AI/ML在医疗保健中某些类型的资源限制，但所提出的方法大多是“被动地”处理特定的资源限制问题。已知的很少有方法是系统地设计来积极解决当前或未来发展中的资源可持续性问题。我们认为，以可持续性意识解决算法和系统设计的瓶颈，并促进学术界和工业界之间的合作，是解决新兴资源可持续性问题的关键。

资源可持续问题

图 1

在医疗保健领域，可持续性对于AI/ML应用至关重要。在之前的AI/ML医疗保健系统的发展中，资源可持续性问题经常被忽视，并且默认地认为未来基于AI的健康数据分析总会有足够的资源。然而，对于那些需要在边缘进行的基于AI/ML的健康应用，由于安全性、隐私和/或实时性的限制，当前技术发展趋势可能会继续，但其代价是不可持续的能源消耗。根据估计，未来十年内必须将碳排放量减少一半，以防止自然灾害频率的增加。对于那些必须在边缘进行的应用来说，推动更先进的深度学习技术很快将面临不可持续的能源预算、计算能力、网络带宽、存储容量等问题。此外，由于健康数据量的增加，诊断、标记和交叉验证诊断方面的医疗领域专业知识和专家时间的短缺将变得更加严重。

近年来有关医疗保健应用中最先进（SOTA）深度神经网络的容量以及硬件平台的能源效率性能的数据结果显示，在为了获得更高准确性而需要增加模型复杂性和适应深度模型所需的硬件架构进步之间存在能源可持续性问题。图1a显示硬件平台的存储器能源效率没有跟上网络尺寸的增加，导致两者之间出现了日益扩大的差距。作者从两个常见的医疗保健任务（医学图像分割和生物医学信息处理）中选择了代表性网络。这两个任务是医疗保健领域中基本信息提取过程的代表性示例，包括视觉（例如医学图像）和文本（例如电子医疗记录）模态。图1a中的虚线显示了深度神经网络的参数数量在过去几年里呈指数级增长。图1a中的实线表示静态随机存取存储器（SRAM）和动态随机存取存储器（DRAM）的能源效率。图趋势线显示，存储器能源效率的改进跟不上医疗保健中深度模型尺寸的增加。因此，随着存储器能源需求的增加，将会出现超过网络推断和训练的有限能源预算而引发的可持续性问题。

在与计算能源效率相比较时，AI/ML模型的计算需求呈指数级增长，这也导致了能源可持续性问题（如图1b所示）。图1b中的虚线显示，从2015年到2022年，医学图像分割和生物医学信息处理中网络的十亿浮点运算（GFLOPs）数量呈指数级增加。尽管由于系统优化，单个推断的能源消耗可能不会以与模型参数数量相同的速率增长，但在有限的能源预算下，医疗保健任务中频繁和多次推断的总能源消耗仍然是不可持续的。

在医疗保健领域使用AI/ML需要大量的计算能力，这可能带来重要的可持续性影响。AI/ML模型的快速发展，以及其不断增长的计算需求，导致对更强大的硬件的不断需求，以满足不断增长的计算需求。如图1b所示，一次推断的浮点运算数量从U-Net的4.84 GFLOPs增加到GatorTron的18,000 GFLOPs。随着各种任务中进行的模型推断数量增加，所需的计算能力进一步增加。缺乏计算能力将成为训练AI/ML模型或进行模型推断的障碍，尤其是在当前追求大型模型的情况下，进一步阻碍技术进步。对AI/ML模型开发和部署的计算能力需求快速增长导致了一种不可持续的局面，如图2所示。图2a描述了过去几年中领先GPU的性能密度逐渐改善的情况。从2015年到2022年，性能密度有了很大的提高，约增加了十倍，这是由于工艺尺寸的缩小。然而，增长速度仍然无法跟上AI/ML模型计算复杂性的增长速度。这导致了计算密度需求呈指数级增长，如图2a中的虚线所示。计算密度需求大致通过将一个模型的总GFLOPs数量除以领先GPU在该年份的性能密度来获得。对于性能成本，情况也是如此，如图2b所示。每年领先GPU的价格被设定为根据通货膨胀率在2023年1月购买力相匹配，使用美国劳工统计局提供的工具。随着领先GPU性能成本的增加，两种医疗保健任务中的计算费用需求呈指数级增长，如虚线所示。计算费用需求大致通过将一个模型的总GFLOPs数量除以领先GPU在该年份的性能成本来获得。

图 2

图 3

随着模型复杂性的增加，参与AI/ML模型开发的生物医学数据在数量和分辨率方面也经历了大幅增长。我们现在来检查用于深度模型训练的最近的医学图像数据集。结果显示，在研究中心和医学院所的当前存储基础设施中出现了存储可持续性问题。图3展示了医学图像数据的存储需求的急剧增加。特别是，图3中的实线显示了用于深度模型推断的代表性数据集中单个医学图像中的像素/体素数目。生物医学图像采集技术的最新进展导致了图像分辨率的提高。例如，小鼠颅骨和骨骼的三维微计算机断层扫描图像的尺寸从200×5,122增加到1,500×20,002个体素，存储一个单独的3D图像需要约12 GB。至于2D图像的分辨率，在ACHIGMU数据集中，一个单个的组织病理学图像被扫描在×20放大倍率下，平均尺寸为68,096×125,440像素，一个单独的图像需要约16.3 GB。此外，用于AI/ML医疗保健应用的数据量也变得庞大。图3中的虚线显示了用于深度模型训练的代表性数据集的数据量，显示了存储数据集所需的内存容量（用于深度模型训练）从1.7 GB增加到34,779 GB。随着模型尺寸的增加，适当训练深度模型所需的数据量也在增加。蛋白质组学、细胞分割、超高分辨率的三维成像以及大量的CT扫描图像等多模态成像进一步增加了云计算基础设施所需的存储资源。

在医疗保健应用中，数据准备是确保AI/ML模型性能和建立用户和医生信任的关键过程。AI/ML开发人员往往对数据标注和验证的重要性不够重视，而这对于AI/ML模型的训练是一项劳动密集型和耗时的任务，对于一张单独的图像可能需要数小时的时间，同时还会导致专家负担的可持续性问题，如图4所示。随着在医疗保健应用中采用参数数量不断增加的AI/ML模型，为了实现更好的准确性，需要更多的图像用于模型训练。如图4a所示，用于AI/ML模型训练的X光、CT和磁共振成像图像数量呈指数级增长。随着在AI/ML模型训练中使用的医学图像数量和大小的急剧增加，由于成熟的诊断程序36,37，领域专家在医学图像数据准备上花费的时间多年来一直保持稳定。对于复杂的病例，领域专家需要很长时间来完成特定的诊断图像分析，进行解释和标注验证。如图4b所示，对一张胸部CT扫描进行COVID-19感染区域的详细手动轮廓需要187 ± 38.5分钟，手动标记神经母细胞肿瘤在MRI图像中每个病例平均需要56分钟。实际上，目前的合格领域专家无法满足数据准备的需求。图4a中橙色虚线和菱形点表示过去十年中美国注册放射科医生数量的小幅增加，从36,000增加到41,000。这种缓慢的增长是因为成为合格领域专家需要较长的培训时间。

图 4

解决资源稀缺性的方法

近年来，领域自适应技术已被应用于基于丰富的健康数据预训练的模型，将网络调整为下游任务。通过这种方式，针对一个领域进行预训练的模型可以在另一个领域中重新使用，模型开发过程中的能源、计算能力和领域专业知识成本将最小化。因此，一个经过充分预训练的网络在新的医疗保健应用中将需要较少的训练。因此，训练的数量和标记的训练样本数量将减少，并且在不同资源方面的成本将降低。在医学图像领域，已经将预训练-微调范式应用于电子显微镜数据和质谱数据，通过使用少量任务特定数据对预训练的模型进行微调以适应新的领域。

有一些专门设计的算法用于寻找小型网络，从而使用最少的参数来减少医疗保健应用中的能量消耗和存储需求。例如，针对医学图像分割任务，已经开发了一种压缩的CeNN框架，通过执行递增量化和提前退出，大大降低了计算需求，同时在可编程门阵列上保持了可接受的性能。一种公平感知的修剪策略FairPrune被提出，用于修剪网络权重，同时保持医学图像分类的公平性和准确性，还提出了一种网络量化方法，以减少模型大小，适应边缘设备的受限资源，用于医学图像分割。还有一些关于资源感知神经架构搜索的工作，用于寻找实时心电图重建的最佳适合小型网络架构。

在自监督和半监督学习方面，已经设计出一些算法，以减少对专家标注的依赖，用于模型训练。例如，已经提出了一种基于上下文恢复的自监督学习策略，用于更好地利用CT扫描和2D超声结果的未标记图像。一种MRI图像的自监督学习方法被设计出来，其中网络使用对比损失进行训练，以判断扫描是否来自同一人，同时结合预测椎体水平的分类损失。提出了一种新的多实例对比学习方法，它使用潜在病理学的多个图像，从而提高了皮肤病学和胸部X射线图像的分类准确性。至于生理信号领域，相关研究人员提出了一种对比学习方法CLOCS，使模型能够在空间、时间和患者之间学习表示，并且在房颤检测准确性方面取得了可比较的结果，但所需标记数量仅为监督训练方法的25%。

从系统角度来看，联邦学习已成为一种流行的方法，通过将计算负载从单一中央服务器转移到多个服务器或其他边缘设备，实现资源在训练中的平衡。联邦学习是一种范式，通过在不上传数据到中央服务器的情况下，协同训练深度神经网络来解决数据治理问题。联邦学习的训练过程可以在每个参与站点本地进行，并且只传输模型特征。通过这种方式，能够在海量医疗数据上进行深度学习分析时，合理地管理能量消耗和计算负荷，将任务分配给所有参与者，从而缓解了中央服务器上的可持续性问题。跨机构的联邦学习是医疗行业中一种新兴技术，它使得多家医院或组织能够在不将原始数据聚合到中央服务器的情况下，协同训练全局模型。这种技术可以保护数据隐私，并通过避免传统的集中式训练范式来进一步平衡数据处理的工作负担。

展望

众所周知，硬件和AI模型的性能是相互关联的。为了实现高效的设计空间探索，开发跨层次的协同探索框架至关重要，该框架涵盖硬件、算法和模型，以确定面向医疗应用的资源可持续解决方案的最佳配置。此外，还需要一个资源成本模型，该模型可以准确估计或预测不同组合的硬件/软件资源、神经网络组件和算法设计选项在每个特定的AI/ML医疗应用中的资源消耗。而且，预测模型还应能够从整个生命周期的角度预测维持足够资源可用性的成本，包括能源、计算能力、存储、网络、算法、领域专业知识和数据容量，以进行模型升级或可能的领域适应。AI/ML模型可以帮助进行准确的预测，以减少浪费和碳排放。通过成本预测模型和协同设计框架，设计者可以根据新的更新基础设施、特定的资源预算和其他优化标准来定制优化目标，以满足整个生命周期的需求。

基于对健康数据安全和隐私的监管考虑，与其朝着更好地利用通用商业云存储的方向推进，一个替代方案，或许更具可行性，是建立符合政府法规要求的专用医疗保健人工智能基础设施，这些法规可能会随着时间的推移而变化。这些基础设施可以完全由政府或私营部门资助，确保数据的保存，并支持算法的进一步发展。此外，可以应用基于人工智能的技术来优化这些基础设施在存储、计算能力和能源效率方面的资源分配。

随着对领域专业知识需求的增加和医疗保健数据量的增加，其冲突将变得更加严重。自监督学习可以是解决领域专业知识可持续性问题的关键方法。目前，由于基于深度学习的诊断具有黑匣子特性，仍然存在获得提供者、医生和患者信任的障碍。未来的方向可能是具有解释性/可解释性的自监督学习。可解释的自监督学习算法可以通过提取临床上有用的特征、用人类可解释的证据解释分析/诊断结果，并在没有大量专家标记数据的情况下进行模型训练，从而显著缓解专业知识可持续性问题，并进一步获得领域专家、提供者和患者的信任。

AI/ML算法的进步使得自动化数据标注成为可能。使用少样本学习技术，可以对大型语言模型进行微调，以自动标记医学图像或生物医学信息文本中的元特征。这通过提供提示和一系列标记示例来实现，使得AI系统能够学习识别图像或文本中的模式和特征，并相应地标记新的实例。自动标注可以大大加快大规模数据集的注释过程，同时提高标签的准确性和一致性。尽管自动化可以大大减少注释所需的时间和工作量，但是验证和交叉检查自动化方法与手动注释是很重要的，以确保最高水平的准确性。

参考资料

Jia, Z., Chen, J., Xu, X. et al. The importance of resource awareness in artificial intelligence for healthcare. Nat Mach Intell 5, 687–698 (2023).