港中文 和 上海 AI Lab提出 GTP-4o 异构图技术突破多模态学习难题 ！

近期在多模态表征学习方面的进展已经在生物医学领域取得了成功。虽然已建立的技术能够处理多模态信息，但当扩展到各种临床模态以及实际中的模态缺失设置时，由于内在的模态差距，挑战也随之而来。 为了解决这些问题，作者提出了一种创新的方法——模态提示的全模态学习异构图（GTP-4o），它将众多不同的临床模态嵌入到一个统一的表征中，完成缺失模态的不足嵌入，并通过基于图的聚合重新制定跨模态学习。特别地，作者建立了一个异构图嵌入，以明确捕捉模态特定特征（节点）和跨模态关系（边）上的多样化语义属性。 然后，作者设计了一个模态提示的补全方法，通过图提示机制生成幻觉图形拓扑，引导缺失嵌入朝向完整的表征，从而完成缺失模态的不充分图表示。通过这个完成的图，作者精心开发了一个由领域知识驱动的知识引导的分层跨模态聚合，包括一个全局元路径邻域来揭示沿着由领域知识驱动的路径上的潜在异质邻居，以及一个局部多关系聚合模块，用于在各种异质关系中进行全面的跨模态交互。作者在严格的基准实验中评估了作者的方法与先前最先进技术的有效性。 总的来说，GTP-4o 通过图理论首次尝试全面地嵌入、关联和感知来自各种临床模态的异质模式。 项目页面：https://gtp-4-o.github.io/

1 Introduction

每种模态都有自己的视角来反映特定的数据特征。整合多模态数据使模型能够在宏观、微观和分子层面上获得关于受试者状况的各种洞察，从而实现准确全面的疾病诊断。例如，各种成像技术的多模态融合显著提高了在内镜场景中胃肠道病变的检测和表征。同样，将基因信息与病理图像结合可以提高癌症分级的预测准确性。相关任务，如生存预测（旨在预测重大事件如死亡或疾病复发的时间间隔），也可以从这种多模态融合中受益[7]。此外，由病理图像中的细胞核分割构建的细胞图显示提供了更细粒度的微观信息[70]。视觉语言模型在生物医学图像和文本学习方面的最新进展也激发了一系列工作[78]，其中诊断文本通常包含抽象的语义信息[10]。这些进展为扩展生物医学多模态模型的容量边界至全模态表示，以处理更广泛的临床模态提供了潜力。

已建立的多模态方法通常遵循以下原则：首先提取单模态特征，然后在配对的多模态数据中学习跨模态关系[40, 59, 72, 78]。早期研究设计了精细的多模态信息融合技术，希望最大化每种模态的好处[16, 38]。由于存在固有的模态差异和不平衡的学习过程[19, 80, 81]，近年来的研究转向通过平衡和调整每种模态的学习来改进多模态的协同学习[12, 43, 58, 73, 79]。这些方法通过导出与模态相关的加权因子，动态地调制特征[73]、梯度[58]、注意力[12, 49]等多模态信息的 学习和融合。

图1：方法论比较。与**(a)先前的方法不同，(b)**作者的框架能够从各种临床模态中学习统一的全模态表示，即使模态缺失也能明确捕捉跨模态关系，通过建立的异构图表示。

尽管在缓解模态差距方面取得了成功，但在应用于（尤其是广泛的）生物医学模态时，挑战仍然非常严峻，这主要是由于两个突出的挑战。第一个挑战在于生物模态上表现出的巨大语义异质性。一个直接的例子是，在自然图像中的“狗”与其声音共享类似的物相关的语义，而基因组剖面与病理图像之间的语义关系和局部对应性非常模糊。尽管先前的方法采用最优传输[71]或跨模态注意力[7; 39]来捕捉基因和图像之间细粒度的相关性，但它们仍然忽略了高阶空间中的异质性，即跨模态之间的关系。每一对模态都有自己与特定语义和属性的关系。如图1所示，图像和基因组之间的关联在语义上与“表达”相关，而图像和文本之间的关联可以抽象为“描述”。因此，这些观察启发作者引入一个统一的非欧几里得表示，它明确捕捉模态特征和跨模态关系上的异质属性。

其次，在临床实践中，由于隐私和伦理考虑，某些模态的部分缺失是常见的。数据收集技术的限制和生物信息学安全的关切使得获取所有数据模态变得更加困难。然而，大多数多模态方法在数据完整性上有共同的假设[72; 78; 59]。一旦在训练或测试中某个模态缺失，多模态融合就变得无法实现，导致性能次优[23]。因此，作者致力于设计算法以自适应地完成由模态缺失造成的特征空间混乱，以便统一处理缺失和现有模态的所有表示。

为了解决上述挑战，作者提出了一个面向全模态学习的模态提示异构图框架（GTP-4o），它允许在可能模态缺失的情况下，在各种生物医学模态下统一表示。特别地，作者构建了一个异构图嵌入[35; 36; 50]，以明确捕捉模态特征和跨模态关系上的异质属性。然后，作者设计了一个模态提示的完整性完成，通过一个新的图提示模块来完成缺失模态的不足图嵌入，该模块生成幻觉节点以引导嵌入朝向原始的完整空间。通过完成的图，作者精心设计了一个知识引导的分层聚合，包括一个从知识派生的全局元路径邻近来捕捉潜在的异质邻居，以及一个局部多关系聚合，用于在各种异质关系中模态信息的全面交互。

GTP-4o首次探索了从包括基因组、病理图像、细胞图和诊断文本在内的各种异质临床模态中学习统一表示。

作者的贡献可以总结如下：

• 本文介绍了从各种不同临床模态学习中统一多模态表示的新问题，并首次尝试通过图表示和聚合方法嵌入和关联异构多模态特征。
• 作者提出了一个模态提示完成模块，通过图提示策略生成幻觉节点，以指导缺失模态的损坏图嵌入朝着完整表示的方向完成。
• 作者提出了一种知识引导的分层跨模态聚合方法，使用全局元路径邻域来捕捉异构邻居，以及一个局部多关系聚合模块来促进各种异构关系间的信息交互。
• 在包括病理胶质瘤分级和生存结果预测的全面基准测试上的大量实验表明，作者的方法与先前最先进的技术相比具有有效性。

2 Related Work

生物医学多模态学习。 利用多模态数据已经在精确和全面的成像分析[33, 54, 86]和诊断[2, 63, 74]中获得了显著关注。例如，通过联合使用来自病理图像[56, 88]和基因组学[45, 76, 77]的综合特征，进行准确的癌症相关诊断，如胶质瘤分级[11]和生存分析[7]。同时，随着视觉语言模型（VLMs）的eGTP-4once的出现，人们投入了大量努力通过进一步结合临床文本报告中的文本信息来增强视觉模型的识别和分析能力[78, 83]。受到这些趋势的启发，本文提出了一个新的问题：从各种不同临床模态中学习统一特征，包括基因组学[7, 45]，病理图像[56]，细胞图[70]和文本描述[83]。

在整合多模态信息时[46]，处理模态异质性至关重要。早期工作聚焦于研究早期或晚期融合方法[5, 16, 60, 18, 65]，这些方法通过整合单独分离模型的预测来进行最终决策。然而，这些方法要么忽视模态内的动态[46]，要么未能完全关联跨模态信息。近期，中间融合方法[6, 22]已显示出前景，它通过利用跨模态注意力[53, 6, 71, 85]同时学习单模态特征和捕获跨模态交互。然而，它们试图用学习的注意力模型所有潜在的跨模态关系。与它们不同，作者提出通过异构图空间明确捕捉模态特征和跨模态关系的异质性。

病理学中的图表示。 图表示在病理学分析领域已经显示出其潜力[3, 4, 66]。在先前多实例学习（MIL）的努力下，将高分辨率的整张病理图像（即WSIs）分割成实例包，并在欧几里得空间中预定义连接的局部区域，近期的基于图的方法[3, 4, 14, 84]通过图的拓扑结构灵活地建模实例间的交互。例如，PatchGCN[4]用同构图模型病理图像，并使用图卷积神经网络（GCN）[20]回归生存数据。GTNMIL[84]被设计成使用图 Transformer 网络[75]的基于图的MIL。近期方法[3, 14]将先前的实践扩展到处理具有异质图的WSIs，通过不同的分辨率 Level [14]或通过预文本任务[3]的语义表示引入每个 Patch 的异质性。然而，这些方法只考虑了图像模态中的异质性，而更具挑战性的多模态场景则留待研究。为了填补这一空白，本文在一个更为复杂的设置中探索图表示，即从具有显著异质性的各种不同临床模态中学习。

3 Method

图2：GTP-4o的 Pipeline 概述。作者实例化了全模态生物医学特征（第3.1节），并将它们嵌入到（a）异构图空间中（第3.2节）。然后，作者引入（b）通过图提示进行模态提示的补全来完成缺失的嵌入（第3.3节）。之后，作者设计（c）从全局元邻近出发的知识引导的分层聚合来揭示异质邻域，以及局部多关系聚合来跨各种异质关系交互特征（第3.4节）。

概述。 在进行数据处理和特征提取（第3.1节）之后，患者主体的全模态嵌入可以表示为包含基因组学（G）、病理图像（I）、细胞空间图（C）和诊断文本（T）四种模态的4元组，，每个模态中的实例数量不同，但具有共同的维度。然后，作者通过将模态特征转换为图空间（第3.2节）来建立异构图表示。之后，执行模态提示的补全，它采用图提示将不完整的图形嵌入转换为提示并完成的表示（第3.3节）。之后，作者执行由参数化的知识引导的分层聚合，包括通过知识导出的元路径的全局邻近，以及沿各种异质关系进行的局部多关系聚合（第3.4节）。最终的聚合特征最终通过一个特定于任务的 Head 进行前向传播，以针对任务获得具体的预测，基于此，作者优化网络参数和提示参数，关于任务损失。（第3.5节）。

Data Processing and Feature Extraction

Heterogeneous Graph Embedding

通过获得相同维度 的模态特征 ，可以通过特征到图的转换建立异构图嵌入。正式地说，异构图空间由 表示，其中 和 分别代表实体集（即顶点或节点）和关系集（即边），这在经典有向图的理论上已经建立。进一步引入的 和 分别代表节点和边的属性集，通过它们作者可以明确地为模态实体特征和跨模态关系定义异构性质。

定义一个函数 ，将每个节点 映射到集合 中的一个属性，根据其模态。因此，节点的属性集可以表示为 。此外，异构嵌入中的边 代表从源节点 到目标节点 的关系，因此边的属性 由源节点 和目标节点 的属性以及它们实际语义关系决定。因此，引入一个函数 ，将每个边 映射到一个特定的属性 。作者根据生物医学模态的先验知识构建这个关系属性集 ，表达描绘原子化模内。这个集合代表了基因组与图像之间_"表达"的语义关系，图像与文本之间"描绘"的语义关系，以及图像与细胞图之间"原子化"的语义关系。作者还建模了所有"模内"_实例之间的关系。为了获得初始输入图嵌入 ，作者在模态特征 上执行非线性投影。对于每条边，作者计算头节点和尾节点之间的余弦相关性作为其嵌入。

模态提示完成

模态提示完成旨在通过更新其与一些可以学习的提示实体来适应缺失模态的不足嵌入。正式地，作者引入了一种图提示操作，可以由 参数化，将输入图表示 转换为 。希望它能学习将缺失的图嵌入转换回其原始完整状态。

一般提示。鉴于缺失的模态，某些特定目标在该模态的所有实例都缺失，以至于它们在上的表示被破坏，即。还有一些不受缺失影响的病人目标，仍然拥有完整的数据并保持的表示。作者采样幻觉节点，其中，作为图补全的基本提示方案。作者通过收集所有目标（除了在缺失模态上数据不完整的目标）的特定于模态的特征来提取缺失模态的表示先验，。在缺失模态上数据不完整的目标，即。然后，作者通过从提取的模态先验中进行高斯采样来初始化个提示实体的特征，这一动机源于不同目标中相同模态基本共享相似分布的直觉。初始化后，提示节点集可以有效地随着模型训练进行优化。

实体依赖提示。引入的提示实体对上下文一无所知，这可能导致产生次优结果。为了编码实体依赖的上下文信息，作者进一步引入了一个提示库，其中包含一组提示组件，，其中是提示组件的数量。作者把这些组件看作是一系列基本提示，其权重可以以实体独立的方式获得。也就是说，作者通过通道缩放的线性层传递每个输入节点以获得紧凑的特征向量，然后进行softmax操作，从而得到权重，

其中表示将特征维度从变换到的线性投影层。然后作者使用这些权重调节每个 Query 实体的提示组件，并求和图形上下文感知的一般提示和实体依赖提示，

其中表示提示库中的第个组件。通过这样做，提示的图嵌入可以用图提示函数的公式来描述，通过该函数将图的节点和边进行变换，

其中 表示除了 以外的所有模态下的节点嵌入，而 表示移除了模态 中的所有节点时的边空间。 定义了这样的操作：如果可以在边 的属性空间中检索到关系，则更新两个节点集合之间边 的特征。实际上，通过插入提示节点以及揭示一些被破坏的关系，缺失模态 的图嵌入被适配和揭露。

Knowledge-guided Hierarchical Aggregation

在完成了图后，知识引导的分层聚合模块有效地将知识先验嵌入到一系列元路径中，因此作者可以搜索全局跨模态异构邻近。找到邻近后，在多种异构边上进行局部多关系聚合模块的执行，并且整个分层聚合[31, 83]模块可以通过网络函数进行参数化。

全局元路径邻近。图的聚合高度依赖于建立的邻近规则[64, 77]，作者设计新颖的元路径作为全局信息通道，允许两个异构实体之间的交互。在异构图中的实体和元路径下，通过元路径为所有实体唯一标识[77]邻近，即。因此，作者的见解是将领域知识嵌入到的公式中，考虑临床模态之间的语义关系。回想边缘属性空间明确由模态之间的生物学关系定义，作者推导出，除了“同模态”关系，即同一模态中的实体，所有异构节点只能与在单跳传播[44, 77]中与其属性在语义上相关的节点交互。按照这一原则，作者采用随机游走策略[9]从所有潜在候选中搜索最优元路径。特别是，作者从一种模态的实体随机开始，然后迭代属性空间中具有有效语义关系的所有异构节点，即。重复迭代，作者显示适当的元路径定制可以是表达原子化表达描绘原子化表达描绘表达。按照[77]，所有元路径都应以两跳内的最大长度进行公式化。在实际使用中，当 Query 实体的邻近时，作者首先将其投影到实体属性空间，通过，然后迭代所有给定跳数的元路径。之后，收集所有到达的实体属性，并将那些收集到的属性的实体视为沿着元路径的邻近，

\mathcal{N}_{v}^{\Phi}=\left\{v^{\prime}|\tau(v^{\prime})\in\left\{ \underset{i\in[1,|\Phi|]}{\overset{\text{{\small Reach}}}{\mid}}\right. \right.\right. \tag{4}

其中表示通过沿着元路径走跳收集所有到达的属性的操作。是对所有结果元素进行连接的操作符。

局部多关系聚合。通过得到的实体级的 邻居，作者对每个目标节点 进行信息传播，作为从其所有邻接源节点 的局部特征聚合。为了建模节点间的交互[3, 15]，作者引入了多头注意力（MHA）机制，将目标节点特征建模为** Query （Q），源节点特征建模为键（K）和值（V）**。作者通过不同的线性投影层 和 对目标节点 和源节点 进行嵌入，对于每个注意力头 ，

其中 表示来自第 层的节点 的输入节点特征。投影层能够将来自不同节点属性的节点特征映射到一个在节点属性之间不变的嵌入空间。第 层的边特征 也通过一个线性投影层 投影，作为键（K）特征，。一旦节点嵌入被投影，作者计算 Query 和键向量之间的点积。此外，作者将线性变换的边嵌入与相似度分数相乘，将边特征整合到图 中，

其中 表示节点嵌入的维度， 表示通过第 个头的单头注意力（Single-Head Attention）的边 的注意力分数。作者将从每个头获得的分数进行拼接，并应用 softmax 函数，

其中 表示单关系注意力（Single-Relation Attention），提供将所有头 的边缘的最终注意力分数。 是目标节点 的邻居集合。然后，作者执行针对每个目标节点的特定聚合，通过平均其邻接节点特征来更新每个目标节点的特征。对于每个目标节点 ，作者对来自其邻接节点的所有注意力向量进行 softmax 操作，然后将 的所有邻接源节点的信息聚合在一起。更新的节点特征 对于 可以表示为。

其中 是对所有 的聚合：， 是一个聚合算子，例如，均值聚合。更新的图 作为第 层的输出返回。这种操作通过使用 层的聚合是可扩展的。作者进一步为每个模态内的所有节点引入模态特定的池化，以获得所有模态的原型特征。然后，图 Level 的特征可以通过一个均值读取层 [3, 77] 进一步确定。

Overall Optimization

聚合的多模态表示可以通过 从异构图 、模态感知图提示 以及知识引导的分层聚合 中获得。尽管多样的诊断任务，包括胶质瘤分级（一个分类任务）和生存预测（一个集成预测任务），在公式化上可能有所不同，但经过一些任务头[5]的操作后，它们可以转换为统一的监督学习方式。正式地，引入了针对任务 的特定任务头 ，任务标签表示为 ，

其中 表示损失函数，可以用NLL（负对数似然）损失实现。

4 Experiments

Datasets and Settings

数据集。 作者使用来自癌症基因组图谱（The Cancer Genome Atlas, TCGA）[1]的数据来评估作者的方法，这是一个包含数千名癌症患者的基因组和临床数据的公共数据库。作者选择了胶质母细胞瘤和低 Level 胶质瘤（GBMLGG）以及肾透明细胞癌（KIRC）的数据集。对于TCGA-GBMLGG，遵循[5]，作者使用诊断幻灯片中的感兴趣区域（ROIs）并应用稀疏染色归一化[5]，以将所有图像匹配到标准的H&E组织学图像，总共创建了1505张图像，涉及769名患者，WHO分级标签从G2到G4。作者为每位患者整理了80个CNA和240个RNA-Seq基因特征。需要注意的是，有40%的患者固有地缺少实际的RNA-Seq数据。对于KIRC数据集，作者从417名CCRCC患者的诊断全幻灯片中手动提取了512 512的ROIs，总共得到1251张图像，这些图像也通过染色归一化进行了类似的处理。作者将这些图像与117个CNV和240个RNA-Seq基因特征配对。这些图像还包含了从G1到G4的Fuhrman分级标签。

评估。 对于每个癌症数据集，作者执行5折交叉验证并报告平均测试性能。针对特定的评估任务，作者采用了不同的指标，病理胶质瘤分级使用曲线下面积（Area Under the Curve, AUC）和准确率（Accuracy, ACC），生存结果预测使用一致性指数（concordance index, C-Index）。由于GBMLGG中固有地部分基因模态缺失，作者直接部署框架而不修改数据。而对于拥有完整模态数据的KIRC，作者模拟GBMLGG中的情况，在整个数据集中随机丢弃40%的RNA-Seq数据。为了确保训练和测试中缺失案例的一致性，作者在生成五折验证时，约束训练和测试划分中不完整主体的比例相等。为了探索更多模态下的缺失问题和缺失比例，作者在第4.3节模拟的缺失设置下也进行了实验。

实现。 该框架通过Adam优化器进行优化，图聚合和任务头的学习率为，权重衰减为，在150个周期内进行优化，并采用早停法。作者特别采用了的较低学习率，用于优化图提示函数中的提示节点和提示银行组件。每个患者主体的多模态实例都被联合输入到网络以得到最终结果。在训练图中执行数据增强，包括随机丢弃边和节点，以及在节点和边特征上添加高斯噪声[26, 69]。每个丢弃层的丢弃比例被选为0.2。关于超参数，作者在方程2中的提示节点和提示银行组件的数量设置为和，输入图表示的维度为。

Comparison with State-of-the-arts

作者在表1中对比了所提出的方法与几种当前最优（SOTA）方法。为了公平比较，作者对所有实验应用了相同的设置，并在必要时使用对比工作的官方代码在作者的任务上进行部署。

单模态模型。 作者介绍了现有分析基因组数据和病理图像的方法。对于基因组数据，作者在TCGA [5, 6]中采用SNN [21]进行生存结果预测，并采用将SNN作为特征提取器并结合TransMIL [62]进行全局聚合的SNNTrans [21, 62]。对于病理图像，作者报告了包括基于 Transformer 的模型：AttnMIL [17]、TransMIL [62]，以及基于图的模型PatchGCN [4]、GTNMIL [84]、HEAT [3]在内的SOTA MIL方法的成果。看来，使用多模态数据一致地提高了在各种指标下的性能。

多模态模型。 作者比较了包括Pathomic [5]、Porpoise [8]和MCAT [6]在内的SOTA多模态方法，这些方法仅关注从基因组和病理图像中提取互补的多模态信息。看来，对于各种诊断任务，使用多模态互补信息是有益的。此外，由于扩展到更多模态的研究尚未探索，作者通过将现有工作Pathomic [5]扩展到细胞图模态，与其它 Baseline 进行了比较，并且与简单地集中由单模态模型[62]学习的跨模态表示的TransFusion [85]进行了对比。从表中可以看出，所提出的GTP-4o在大多数使用不同生物医学模态的情况下明显提高了性能。

Further Results

消融研究。 表2展示了移除GTP-4o每个组件的效果。_无异质嵌入_移除了嵌入中的所有异质特性，使其退化为一个简单的同质图。_无异质关系_移除了边的异质特性，同时保持了节点特征中的多样性属性。_无补全（零初始化缺失）_在未使用提出的图提示补全的情况下处理缺失模态，同时将缺失模态的特征设置为零值。_无补全（丢弃缺失）_如果某些患者的模态数据缺失，直接丢弃所有患者的该模态数据。_无聚合（简单平均）_移除了知识引导的聚合，同时执行-NN异质邻居（）之间的简单平均聚合。_无知识引导_移除了聚合的知识引导，使用随机的元路径。作者的消融研究结果证实了作者的设计在模型整体性能和有效性中的关键作用。

模态使用的影响。 图3(a)展示了GTP-4o使用各种模态组合的影响。在单一模态的情况下，观察到每个模态对特定任务都有其优势，因为仅使用基因和仅使用图像的相对性能在胶质瘤分级和生存分析任务中是相反的。作者还可以看到，当引入更多如细胞图和文本描述的模态时，模型在两个任务上的性能都得到了提升。这表明GTP-4o不仅能泛化到各种医学模态组合的使用，而且在AUC（对于胶质瘤分级）和C-Index（对于生存预测）方面的性能也更为优越。

模态缺失和补全的影响。 为了验证图提示的效果，如图3(b)所示，作者选取了一个非缺失案例（_TCGA-02-0006_），并比较了两个版本，包括建立在原始完整实例上的图和任意缺失实例的补全图，边缘用余弦相似度标记。作者可以观察到补全图与真实图具有相似的关系模式，这暗示了所提出补全的生物有效性。此外，作者通过在TCGA-GBMLGG基准上对图像和基因组学模态应用模拟缺失，探索了更多的缺失设置。请注意，由于GBMLGG数据集中实际存在缺失的RNA基因组学，因此仅在非RNA特征上应用基因模态的模拟缺失。图4描述了在各种缺失比率下，GTP-4o相对于没有图提示补全的 Baseline 的性能，证实了在模态缺失设置下的补全效果。#### 4.4.2 限制和未来工作。

当前的部署受到没有真实世界临床文本报告可用于数据集的限制，因此作者必须使用LLM生成合成文本描述，可能会引入一些数据噪声。另一个限制是本文没有考虑其他如表格数据等附加模态，这可以作为未来的工作。

5 Conclusion

日益增加的生物医学多模态数据不仅为准确全面的诊断提供了机会，同时也对学习过程中的模态异质性和缺失问题提出了挑战。

本研究提出了GTP-4o，这是通过图论从各种临床模态中学习统一表示的开创性探索，展现出对异质模态的鲁棒性。

与先前方法不同，GTP-4o通过异构图嵌入探索捕捉显式关系。

提出了一种新的图提示方法来完善缺失模态的图表示，并通过分层多模态聚合使用全局元路径先验来指导各种异质关系中的局部聚合。广泛的实验证明了GTP-4o在疾病诊断中的有效性。

参考

[1].GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation.