Nat. Commun. | 用于持续学习心脏信号的临床深度学习框架

编译|陶雯 审稿|黄勇

本文介绍由牛津大学的Dani Kiyasseh等人发表于Nature Communications的研究成果：在违反独立同分布假设的实例中训练的深度学习算法会受到破坏性干扰，作者为了减轻这种干扰，提出了一种持续学习策略CLOPS。在四个持续学习场景的三个场景中，CLOPS在泛化性能和后向转移两个方面都优于最先进的方法GEM和MIR。该框架有望为设计能够长期保持稳健的诊断系统铺平道路。

1

简介

心律失常的诊断，即心脏功能异常的识别，有助于心脏病专家和广大临床医生做出正确的决策。进行心律失常诊断通常利用心电图（ECG）。深度学习系统的出现使得心律失常的自动诊断具有一定的规模和准确性，许多深度学习系统要求数据是独立同分布的（independent and identically distributed，i.i.d.）。违反i.i.d.会不利于系统的学习行为，然而违反i.i.d.在临床环境中普遍存在。

应对动态环境带来的挑战是持续学习（CL）的重点。通过持续学习，学习系统可以在当前的任务中表现良好，而不影响在先前任务上的表现。动态且混乱的医疗环境需要动态可靠的系统，然而现在还没有研究去设计和评估生理信号背景下的持续深度学习系统。

作者设计并评估了一个持续深度学习系统，系统接收单导联心电图数据，并返回单一的心律失常诊断。这种深度学习系统可以在多种动态环境中执行心律失常诊断的临床任务，而不会灾难性地忘记如何执行先前的任务。当结合缓冲区存储和获取机制时，本文的CL框架在四个不同的CL场景的三个场景中的表现超过了最先进的CL方法GEM和MIR。同时，作者还进行了大量的消融研究，并表明提出的缓冲区存储和获取机制对提高性能至关重要。此外，作者通过参考心电图领域的知识，验证了可学习参数代表了难度的解释。

2

结果

持续学习场景

作者模拟了四种动态变化的环境，在这些环境中，深度学习系统依次执行心律失常分类的任务。在类增量学习（Class-IL）的场景中，深度学习系统针对来自互斥的心律失常类对的数据解决了一个二元分类问题（见图1左）。在时间增量学习（Time-IL）的场景中，深度学习系统针对一年中不同时间（如冬季和夏季）收集的数据解决了一个多类分类问题（见图1左）。在域增量学习（Domain-IL）的场景中，深度学习系统针对不同模式的输入解决了一个多类分类问题（见图1右）。在机构增量学习（Institute-IL）场景中，深度学习系统针对来自不同医疗机构的输入解决了一个多类分类问题（见图1右）。

图1 四种持续学习场景

微调策略和CLOPS策略的性能评估

图2a中说明了在Class-IL场景中部署的一个简单的、微调的深度学习系统所取得的AUC，在没有明确的CL策略的情况下，破坏性干扰非常普遍。图2b中说明了深度学习系统CLOPS的AUC，表明CLOPS减轻了破坏性干扰。图2c中说明了在Time-IL场景中部署的深度学习系统所取得的AUC，当部署在Time-IL场景中时，深度学习系统CLOPS的性能比MIR稍差。在图2d中，CLOPS在对任务Term 3进行单个时期的训练后取得了AUC≈0.62，而微调深度学习系统（其结果显示在图2c中）在经过20个完整的时期后才取得这一数值，这表明CLOPS有望减少训练深度学习系统所花的开销。

图2 微调和持续深度学习系统在各种持续学习场景下的性能

存储和获取机制对性能的影响

作者研究了存储和获取机制对性能的边际影响。存储和获取机制取决于存储和获取的数据量，因此，作者在进行研究的同时改变了存储到缓冲区和从缓冲区取回的数据比例，数据比例分别用b(存储)和a(获取)表示。在随机存储研究中，作者取消了存储机制，将心电图信号随机存储到缓冲区。在随机获取研究中，作者取消了获取机制，从缓冲区中随机获取心电图信号。最后，在随机存储和获取研究中，作者将心电图信号随机存储到缓冲区，并从缓冲区中随机获取心电图信号。图3中给出了这些实验的结果AUC。结果表明，存储机制和获取机制都极大地提高了深度学习系统的泛化性能。

图3 存储和获取机制对持续深度学习系统性能的边际效益

存储参数解释的验证

图4说明了深度学习系统在Class-IL场景中学习的存储参数值s的分布。存储和获取的比例分别为b=0.25和a=0.50，每种颜色对应一个不同的任务。为了验证这些分布确实表示了心电图信号诊断的难度，作者确定了与最低和最高重要性参数值相关的两个心电图信号，并将其与分布一起呈现。根据设置，这两个心电图信号应该分别对应于最难诊断的信号和最不难诊断的信号，基本心电图领域专业知识证实了这一预想。

图4 深度学习系统在Class-IL场景中学习的存储参数值s的分布

3

总结与讨论

在本文中，作者为了减轻破坏性干扰提出了一种基于回放的CL策略CLOPS，适用于心脏信号。CLOPS包括缓冲区存储和获取机制，在四个CL场景的三个场景中，CLOPS在泛化性能和后向转移两个方面都优于最先进的方法GEM和MIR。

本文的系统也存在一些局限性：

（1）本文方法假设用于训练的部分数据可以暂时存储在缓冲区中以备将来使用，然而由于患者隐私限制和数据存储限制，这种方法可能是不可行的。

（2）本文研究主要集中在单一的数据模式上，即心电图。

（3）本文的深度学习系统接收单导联心电图数据，并为这种心电图返回单一的心律失常标签，但是医院内通常使用12导联设备，且同一心电图记录中可能存在多种心律失常。

参考资料

Kiyasseh, D., Zhu, T. & Clifton, D. A clinical deep learning framework for continually learning from cardiac signals across diseases, time, modalities, and institutions. Nat Commun 12, 4221 (2021).

https://doi.org/10.1038/s41467-021-24483-0

代码

https://github.com/danikiyasseh/CLOPS