Nat. Biomed. Eng. | 基于深度学习的多模态乳腺癌数据HER2状态评估可预测新辅助治疗反应

DRUGONE

准确评估人表皮生长因子受体2（HER2）状态对于乳腺癌治疗方案的制定和患者预后至关重要。传统的针吸活检由于组织取样范围有限，常受到肿瘤内异质性的影响而导致结果不准确。为此，研究人员提出了一种基于深度学习的多模态 HER2 对齐与预测模型（HER2-MAP），利用术前多模态乳腺影像实现对肿瘤特征的更全面反映，从而获得更精确的 HER2 状态预测。研究人员进一步建立了患者反应预测模型，通过比较 HER2-MAP 预测结果与针吸活检结果，验证模型在新辅助治疗响应预测中的性能。该研究使用来自四个中心的大规模多模态乳腺癌数据集，共包含14,472张影像与6,991例病例。结果显示，HER2-MAP 模型在预测患者治疗反应方面具有显著优势，为临床医生提供了制定精准治疗决策的重要工具。

乳腺癌是全球最常见的癌症类型，其中超过一半的患者在早期（I–III期）被诊断。临床研究表明，及时的干预可显著提高患者的生存率。乳腺癌的诊疗流程包括非侵入性影像检查（如乳腺X线、超声、磁共振）和侵入性针吸活检。医生根据病灶定位结果获取组织样本，以进行分子分型与HER2状态检测。HER2阳性患者可接受靶向药物治疗（如曲妥珠单抗和帕妥珠单抗），从而显著提高病理完全缓解（pCR）率。然而，针吸活检的取样范围有限，仅能反映局部肿瘤特征，容易因肿瘤异质性而导致假阴性或不一致的结果，影响治疗时机与疗效。

随着医学影像数据规模的扩大和人工智能的发展，基于深度学习的影像分析方法为HER2状态评估提供了新的可能。相比单一模态影像（如乳腺X线、超声或MRI），多模态融合方法能够更全面地捕获肿瘤的形态学、功能学及分子特征。研究人员因此提出通过多模态影像深度学习模型实现非侵入性HER2状态预测，以弥补活检的局限。

图1｜研究设计与数据流程：乳腺癌诊疗流程、多模态数据结构及模型构建框架。

方法概述

研究人员构建了多模态对齐与预测模型（MAP），整合乳腺X线（MM）、超声（US）、磁共振（MRI）三种影像及患者人口学数据（如年龄、绝经状态等）。

数据来源：来自云南癌症医院、西南医科大学附属医院、昆明医科大学附属医院和Duke-Breast-Cancer-MRI数据集，共6,991例患者。

分组策略：

• Group 1：未接受新辅助治疗，HER2状态由手术切除活检确定；
• Group 2：接受新辅助治疗，HER2状态由针吸活检确定。

研究人员首先利用Group 1的高置信度HER2标签训练模型，再将模型应用于Group 2患者，以预测HER2状态。随后，建立治疗反应预测模型（response-MAP），以患者的真实治疗反应（pCR或npCR）作为最终验证指标，比较针吸活检结果与模型预测结果在临床效应上的一致性。

MAP 模型包含三个核心阶段：

• 自动检测与分割乳腺病灶；
• 基于多模态输入的HER2状态预测；
• 基于预测HER2状态的治疗反应预测。

模型使用特征对齐策略，将不同模态的特征映射到统一高维空间，以实现信息互补和特征融合。

图2｜模型结构与训练流程：包括自动分割、HER2预测与反应预测模块。

结果

数据特征与分布

本研究共纳入6,991名乳腺癌患者，其中包括未接受新辅助治疗的群体（用于训练）和接受治疗的群体（用于验证）。约40%的患者同时拥有三种影像模态，其余病例缺失部分模态。HER2阳性比例约为30%。

HER2状态预测性能

在单模态预测中，超声（US）的性能最低（AUC=0.685），乳腺X线（MM）略高（AUC=0.716），MRI表现最佳（AUC=0.760）。将三者信息融合后，多模态模型的AUC提升至0.832，而加入对齐约束的MAP模型进一步提高到0.871。

在外部测试集（不同医院数据）上，MAP模型依然保持较高的鲁棒性（AUC≈0.846），显著优于单模态或传统方法。与针吸活检相比，模型预测的HER2状态与手术切除活检结果的一致性明显更高（阳性一致率23.7%，阴性一致率55.16%）。

图3｜HER2状态预测结果比较：不同模态及对齐策略下AUC变化。

治疗反应预测性能

HER2状态直接决定新辅助治疗方案，因此反应预测可间接验证HER2预测的准确性。研究人员建立了治疗反应MAP模型，对比针吸活检与模型预测HER2结果的反应预测效果。

• 在内部验证集上，模型基于HER2预测的反应AUC为0.858，高于基于活检的0.826；
• 在外部验证集（3家医院）上，AUC平均提升约0.05–0.08。

这些结果说明，模型预测的HER2状态与患者实际治疗反应更为一致，代表其具有更高的临床可信度。

图4｜HER2预测结果与治疗反应一致性：展示预测模型相较活检在多中心的提升。

多模态与特征贡献分析

模型解释结果表明：

• 在治疗反应预测中，HER2状态贡献度最高（55%），其次为年龄（23%）和绝经状态（16%）；
• 各模态贡献中，MRI提供最丰富的全局信息，乳腺X线捕获微钙化与边缘特征，超声提供局部结构信息；
• 当三模态融合时，预测性能最高，说明不同模态信息的互补性至关重要。

可视化与解释性

研究人员通过类激活映射（CAM）展示模型关注区域：

• 在乳腺X线中，模型关注肿瘤边界与微钙化区域；
• 在超声中，聚焦肿瘤内部区域；
• 在MRI中，额外聚焦于特定局部强化区域，这些区域可能包含决定治疗反应的关键信号。

图5｜特征贡献与可视化分析：不同临床变量和模态在预测中的相对重要性与注意力热图。

讨论

研究人员基于深度学习建立了一个非侵入、精准的多模态HER2状态预测框架，显著超越了传统针吸活检的准确度。通过将HER2预测结果与患者真实治疗反应关联，研究人员重新定义了HER2评估的“金标准”，实现了由活检到影像、由检测到反应的全流程智能评估。

从临床角度，该研究为医生提供了一种可在术前预测HER2状态和治疗效果的工具，有助于个体化治疗决策。

从数据角度，本研究构建了目前规模最大的多模态乳腺癌影像数据集之一，覆盖多家中心、不同种族与影像类型，增强了模型的泛化性。

从方法角度，提出的多模态特征对齐策略显著提升了模型对不同影像模态的整合能力，使其在模态缺失情况下仍能保持稳定性能。

此外，研究人员指出，该框架可推广至其他乳腺癌分子标志物（如ER、PR）或其他肿瘤类型的精准分型预测任务。

整理 | DrugOne团队

参考资料

Zhang, J., Li, Y., Li, Z. et al. Deep-learning-based HER2 status assessment from multimodal breast cancer data predicts neoadjuvant therapy response. Nat. Biomed. Eng (2025).

https://doi.org/10.1038/s41551-025-01495-5

内容为【DrugOne】公众号原创｜转载请注明来源