[IEEE TPAMI] HGNN+: 通用超图神经网络

作者 | 龙文韬 编辑 | 乔剑博

今天给大家介绍的是清华大学的高跃等人发表在IEEE Transactions on Pattern Analysis and Machine Intelligence上的工作《HGNN+: General Hypergraph Neural Networks》。近年来，图神经网络（Graph Neural Networks，GNN）引起了越来越多的关注。然而，现有的GNN框架是基于简单图进行部署的，这限制了其在实际中处理多模态/多类型数据的复杂数据相关性时的应用。最近有人提出了一些基于超图（Hypergraph）的方法来解决多模态/多类型数据关联的问题，方法是直接连接由每个单个模态/类型构造的超图，这很难学习每个模态/类型的自适应权重。本文对原有的会议版本HGNN进行了扩展，引入了一个通用的高阶多模态/多类型数据关联建模框架HGNN+，学习了基于单一超图框架的最优表示。它是通过连接多模态/多类型数据和超边与超边组来实现的。

一、研究背景

1.1 相关背景及问题

图神经网络近年来受到越来越多的关注，它可以有效地处理基于不规则相关性的数据结构，如社交网络、功能网络和推荐系统。尽管文献研究取得一些进展，但有效处理多模态/多类型数据和捕获高阶数据相关性仍然是GNN网络的关键问题。

图1. 现实世界中高阶相关和多模态数据的例子

一方面，现实世界中的数据相关性远远超出了成对相关性，无法用普通图很好地建模。例如，社交网络中的用户可能具有不同的属性，这些用户之间的关联可以是群体的方式，例如几个用户可能拥有相同的爱好或者参与同一事件，如图1所示。传统的图结构能够表述两个主题之间的成对关系(即一阶关系)，这不足以处理高阶相关，从而限制了相关建模的能力。

1.2 图与超图

图2. 图与超图：(a)图和超图的示例和表示；(b)多模态/多类型数据超图的一般策略

图与超图的说明如图2所示。图中的每条边只能连接两个顶点，而在超图中，每条超边可以连接两个以上的顶点，因此更加灵活。在处理多模态/多类型数据时，超图可以使用多模态/多类型数据生成不同类型的超边，然后直接将这些超边连接成一个超图。

二、模型与方法

2.1 模型相关

这项工作首次发表在AAAI 2019上，该期刊版本是HGNN的扩展，称为HGNN+。作者提出了基于超图卷积的表示学习来处理高阶数据相关信息，并显示了良好的性能。HGNN+可以建模高阶数据相关性，并且易于与多模态/多类型数据相结合。

与会议版相比，本期刊版在以下方面进行了扩展:

1) 作者完成了建模框架，系统地介绍了一个通用的超图神经网络框架HGNN+，该框架包括超图建模和超图卷积两个主要过程。在超图建模中，作者引入了“超边组”的概念，并进一步定义了四种生成超边组的方法。提出了一种自适应超边组融合策略，以优化生成超图，并更好地利用各种关联的互补信息。

2) 将原有的卷积策略HGNNConv从空间域扩展为一般的两阶段超图卷积运算。它还定义了一个特定的变体(即HGNNConv+)，与HGNN中的超图卷积相比，它的可扩展性更好。

3) 在有图结构、无图结构以及有超图结构的数据上进行了大量的实验，验证了所提方法的有效性。此外，详细的数学讨论提供了对超图结构和提出的HGNN+的更深入的理解。

2.2 模型框架

图3. 超图神经网络(HGNN+)的框架。在左侧部分，使用超图对原始多模态/类型数据进行建模。H表示超图结构，X表示从原始数据中提取的顶点特征。在右侧部分，超图卷积模块展示了一个超图卷积的过程，来自该模块的红线允许堆叠多个超图卷积层，以进行更深层次的顶点嵌入提取。

作者简要介绍了超图神经网络(HGNN+)的框架，其目的是为给定原始数据的表示学习提供一个通用框架。如图3所示，它由两个部分组成，即超图建模和超图卷积。在超图建模步骤中，利用可用数据生成高阶相关信息，用超边组表示。将生成所有这些类型的超边组(如果可用)，并将其连接到一个超图中，以便进行数据关联建模。在超图卷积的步骤中，进行了一组超图卷积，用于表示学习。这些卷积过程可以利用来自高阶相关和多模态数据的信息生成更好的表示。

图4. 超边组生成示意图

如图4，对于多模型/多类型的数据，作者考虑有图结构数据、无图结构数据的各种情况生成相应地生成多个超边组。由构造的超边组生成超图关联矩阵H和超边权矩阵W，然后将其送入超图卷积层进行进一步计算。

三、实验

3.1 实验对比

为了评估HGNN+框架的性能，作者在5个具有图结构的公共基准上进行了顶点分类任务的综合实验。作者还进一步在两个包含基于视图的3D对象的数据集上进行了实验，以研究作者提出的方法在没有显式图结构的数据上的有效性。此外，使用两个超图数据集来证明HGNN和HGNN+在学习高阶数据相关性方面优于基于图的神经网络。结果表明，与现有方法相比，该方法是有效的，如表1。最好的结果用粗体字标出，次好的结果用下划线标出。

表1 每类训练使用5个样本时的实验结果

3.2 可视化

Cooking-200数据集中的超图结构表明数据之间包含复杂的高阶相关性，因此选择Cooking200数据集进行可视化，用于直观地比较基于图的方法和基于超图的方法的学习能力。利用t-SNE方法可视化最后一层卷积的输出，结果如图5所示。从结果可以看出与基于图的方法相比，HGNN和HGNN+等基于超图的方法产生了可分辨的聚类，验证了方法的有效性。

图5. Cooking-200数据集的基于图的方法和基于超图的方法的t-SNE可视化

四、总结

在这一期刊版本中，作者扩展了之前的HGNN工作，并介绍了一个用于表示学习的通用超图神经网络框架HGNN+。提出的HGNN+框架在从多模态/多类型数据建模高阶数据相关性方面具有优势。本文介绍了四种数据相关生成方法，并提出了一种自适应超边融合策略来生成整体超图，同时引入空间域的超图卷积来学习其表示。在9个数据集上的实验以及与最新方法的比较证明了作者提出的方法的有效性。结果和数学讨论表明，所提出的框架拥有较好性能，特别是在没有显式数据相关性的情况下。HGNN+框架可用于数据分类、检索和推荐等多种应用。该框架的一个名为THU-DeepHypergraph的工具已发布供公众使用。

参考文献

https://ieeexplore.ieee.org/document/9795251