Nat. Commun. | 源于病理切片的可解释性图像特征指导分子表型预测

今天给大家介绍的是数字病理学初创公司PathAI的研究人员近期发表在Nature Communications上的一项研究。作者提出一种从全玻片图像中利用可解释的图像特征（Human-interpretable Image Features，HIFs）预测临床相关分子表型的方法。实验证明，这些HIFs与肿瘤微环境标志物相关，并能预测不同的分子特征，包括四种免疫检查点蛋白的表达和同源重组缺陷，其性能可与 "黑盒 "方法相媲美。该方法为肿瘤微环境的组成和空间结构提供了一个全面、定量且可解释的窗口。

1

背景

现代计算机视觉方法为快速，可重现且低成本的临床预测和分子预测提供了便利。自动计算病理的方法除了可以达到匹配或超过病理学家的诊断敏感性和特异性指标，还能为资源受限缺少病理学家的地方提供帮助。但是，将端到端深度学习模型从原始图像中直接推断出的结果应用于临床设置存在很大风险，这些风险大部分源于“黑匣子”模型缺乏可解释性。如果没有可靠的方法解决该问题，那么计算方法可能很难在临床环境中广泛采用。

一种新兴的解决方案是自动计算人类可解释的图像特征（HIFs）以预测临床结果。另外，近年来肿瘤微环境(TME) 与患者对靶向治疗的反应间的关系日益明确。尽管先前基于HIFs的研究已经确定了许多有用的特征类别，但大多数研究通常只涉及单个细胞或组织类型，没有探索结合细胞和组织特性的特征。

在这项研究中，作者提出了一种计算病理学流程，该流程可以整合来自全视野数字病理切片图像（whole-slide images，WSIs）的高分辨率细胞和组织水平信息，以预测五种不同癌症类型中与治疗相关的分子衍生表型。该方法将深度学习的预测能力与HIFs的可解释性相结合，从而可以明确整合先验知识，并达到与端到端模型相当的性能。作者引入了607种HIFs的多样化集合，从简单的细胞和组织数量到可以捕获组织结构，组织形态和细胞间接近度的复杂空间特征。在这项研究中，作者证明了这些特征可以概括各种癌症类型，并为每个TME特定且与生物学相关的特征提供定量且可解释的联系。

2

实验

2.1 数据集特征及全自动流水线设计

数据来自癌症基因组图谱数据集(TCGA)，包含2634名患者的2917个由苏木素和伊红染色，福尔马林固定，石蜡包埋的WSIs。这些图像，每张都以×20或×40的放大倍数扫描，代表了来自95个不同临床部位的皮肤黑色素瘤（SKCM）、胃腺癌（STAD）、乳腺癌（BRCA）、肺腺癌（LUAD）和肺鳞状细胞癌（LUSC）患者。选择这五种癌症类型是考虑到它们与免疫肿瘤治疗的相关性以及它们在TCGA中的图像可用性。作者使用生成的图像和注释来设计一个全自动流水线，以从这些图像中提取HIF（图1a）。首先，作者训练了用于细胞检测（细胞模型）和组织区域（组织模型）分割的深度学习模型。在1561个TCGA WSIs的开发集上进行了模型的训练和验证，并补充了4158个其他WSIs（n = 5719）（图1b）。然后详尽地生成了2826个TCGA WSIs的细胞和组织类型模型预测，将其用于计算每个WSIs的多种HIFs。最后训练了经典的线性机器学习模型，以使用这些HIF预测与治疗相关的分子表达表型。

图1 数据集和流水线流程

2.2 细胞和组织类型的模型

作者针对每种癌症类型训练了两个卷积神经网络（CNN）：对分割癌症组织，癌症相关基质（CAS）和坏死组织区域进行分割的组织类型模型，以及训练可检测淋巴细胞，浆细胞，成纤维细胞，巨噬细胞和癌细胞的细胞类型模型。然后将这些CNN用于为每个WSIs生成详尽的细胞类型标记和组织类型分割。预测结果可视化为彩色热图投影到原始WSIs在图1c中展示。

2.3 细胞和组织类型的预测可产生广泛的HIFs

量化后，细胞和组织类型的预测将捕获每张图像上有关细胞和组织空间分布的多元信息。具体来说，作者使用模型预测提取到607个HIFs（图2），这可以从6个类别（图3）的角度进行理解。

图2 可解释的图像特征提取工作流程

六类分别为：

(1)跨不同组织区域的细胞类型计数和密度(图3i，ii)

(2)捕获细胞间空间关系的细胞水平簇特征（图3iii，iv）

(3)捕获细胞水平的比例和邻近度特征（图3v，vi）

(4)组织面积和多重计数（图3vii，viii）

(5)组织结构特征（图3ix，x）

(6)使用度量标准来捕获组织级别的形态（图3xi，xii）

图3 HIFs

2.4 HIFs可捕获足够的信息对癌症类型分层

为了可视化HIF特征矩阵的整体结构，作者将607维HIF空间缩小为二维（图4a）。癌症类型的差异可以追溯到TME内特定且可解释的细胞和组织水平特征（图4b）。值得注意的是，HIFs能够通过已知的组织学差异对癌症类型进行分层，而无需像“黑匣子”方法那样对癌症类型检测进行明确调整。具体的结果图像解读请参见论文。

图4 不同癌症类型之间的HIF差异

2.5 HIF与基于测序的细胞和免疫特征量化一致

为了进一步验证基于深度学习的细胞量化，作者分别比较了细胞类型模型和基于RNA测序模型预测的相同细胞类型的丰富度。在三种细胞类型中，所有患者样品和癌症类型中基于图像的细胞定量与基于测序的定量相关。作者还对每种癌症类型分别进行了相同的相关性分析，观察到每个免疫特征相关的HIFs最高簇之间的高度一致性。

2.6 HIFs可预测临床相关的表型

为了评估HIFs预测临床相关的免疫调节基因表达的能力，作者对五种临床相关的表型进行了二值化类别的监督性预测。使用根据WSIs计算的607个HIFs，分别对每种癌症类型及泛癌进行了预测。

平均而言，在分子表型预测任务中，基于HIFs的线性模型的AUROC保持性能可与使用Kather等人的相同架构和超参数训练的端到端深度学习模型实现的性能相媲美。鉴于样本量较小，基于HIF的模型可能具有更好的统计能力。实际上，基于HIF的模型在几个预测任务中胜过了端到端模型。基于HIFs的LUAD中PD-L1表达的线性模型在大约300个WSIs上训练的AUROC性能也与之前发表的 "黑盒 "深度学习模型在NSCLC中数十万个配对的H&E和PD-L1示例上训练所取得的性能相当。

图5 针对免疫特征的HIFs验证

3

总结

作者提出的方法可跨越整个WSIs在2微米和4微米的亚细胞分辨率上生成细胞和组织类型的预测。另外，通过系统地量化肿瘤及其周围环境的特定和可解释特征，可以生成假设并更深入地了解TME对药物反应的影响。基于HIFs的模型具有更高的准确性，可以利用此信息来发现具有特定治疗敏感性，预测药物反应的生物标志物以及用于后续研究的假设的患者亚群。但作者强调来自TCGA的研究数据和基于HIFs的方法仍有局限性，为未来进行前瞻性研究提供参考。

参考资料

Diao, J.A., Wang, J.K., Chui, W.F. et al. Human-interpretable image features derived from densely mapped cancer pathology slides predict diverse molecular phenotypes. Nat Commun 12, 1613 (2021).