面向推荐场景的自监督超图Transformer

TLDR: 本文针对推荐数据中的噪声和倾斜分布问题，提出了一种基于超图Transformer的全局关系学习方法。该方法采用了自适应的超图关系学习，以得到更好的节点间关系结构，并采用全局信息传播模式，以便从交互稠密的用户、商品向交互数据稀疏的节点传递信息，并缓解交互数据在不同用户、商品节点间倾斜分布的问题。

论文：https://arxiv.org/abs/2207.14338 代码：https://github.com/akaxlh/SHT

1. 研究背景

最近几年来，推荐系统在各种网络应用中扮演着越来越重要的角色，例如在线购物、流媒体服务和地点推荐。这些算法模型有助于减轻信息过载问题，同时提高用户体验。为了更加精确地推断用户偏好，协同过滤方法使用表征向量对用户和商品进行建模，从而压缩观察到的用户-商品交互数据。

最初的协同过滤模型使用矩阵分解的方法来学习用户-商品交互信息。然而，随着深度学习的发展和应用，协同过滤方法也开始采用各种人工神经网络模型来学习用户和商品的低维表征，例如多层感知器、自编码器和注意力机制。图神经网络因其出色的图结构数据表征学习能力，在协同过滤领域引起了广泛关注。该方法通过迭代地沿着用户-商品交互边进行的信息传播和聚合，改善了用户和商品的表征。

尽管最近的图神经协同过滤方法在隐式反馈等任务上取得了很好的推荐效果，但仍然存在一些挑战，需要解决。首先，在各种推荐场景下，由于各种原因，噪音数据无处不在。例如，用户可能会由于频繁曝光而点击不感兴趣的流行商品。在这种情况下，用户-商品交互图中可能存在与用户偏好无关的连接关系，从所有交互边中直接聚合信息可能会损害用户表征的准确性。更糟糕的是，迭代的图编码模式会在多跳邻居之间进行信息传播，从而进一步放大这种噪声，对基于图神经网络的推荐系统造成更严重的负面影响。

其次，数据噪声和分布倾斜问题阻碍了模型对用户-商品交互的有效建模，导致现有基于图的协同过滤模型更倾向于预测流行商品，并在面对交互数据稀疏的用户时出现明显的性能退化。尽管最近已经有一些采用自监督学习范式的推荐模型，但这些方法主要是通过随机掩码产生额外的监督信号，而这种数据增强方法可能会在图数据中保留噪声交互，或遗漏重要的训练信号，因此无法达到最佳效果。

2. 模型介绍

考虑到前面提到的挑战，本文提出了一种名为SHT的自监督超图Transformer模型。其目的是提高图神经协同过滤模型的鲁棒性和泛化性能。这种模型将超图神经网络和拓扑感知Transformer模型结合起来，以增强SHT模型对全局协同关系的学习能力。我们首先使用局部图卷积网络编码得到包含用户和商品邻域拓扑结构信息的用户表征，并将其注入到利用Transformer进行建模的过程中。这样，在整个用户和商品表征空间中就能更好地传播超图信息。

此外，我们还使用了自监督学习框架，将局部协同关系编码和全局超图关系学习统一起来。SHT模型通过对图拓扑结构进行去噪的方式，蒸馏得到额外监督信号，以增强模型训练。SHT的判别式去噪自监督方法可以作为插件应用到现在基于图神经网络的推荐系统模型中去。此方法可以让局部和全局交互关系的协同学习成为可能，以帮助基于图神经网络的协同过滤模型面对噪声和稀疏用户交互数据学习更高质量的用户表征。

2.1 局部图结构学习

SHT采用了一种局部图结构学习方法，以对用户和商品的交互特征进行建模。首先，SHT将用户和商品映射到一个d维的隐语义空间，并利用低维表征向量对它们的交互模式进行编码。然后，用户和商品的交互数据被组织为用户-商品交互图，以更好地表现它们之间的高阶交互关系。基于图卷积神经网络在捕捉节点邻域结构信息上的优势，SHT使用迭代的图卷积编码器对每个节点进行L阶子图编码。这一基于图卷积网络的节点表征包含了邻域子图的拓扑结构信息，在SHT中被称为拓扑感知表征向量，并被用作positional embedding，在后续的图Transformer模块中用于标注节点在观测交互图中的拓扑结构信息。

2.2 基于超图Transformer的全局关系学习

SHT提出了一种基于超图Transformer的全局关系学习方法，以解决推荐数据中的噪声和倾斜分布问题。该方法采用了自适应的超图关系学习，以得到更好的节点间关系结构，并采用全局信息传播模式，以便从交互稠密的用户、商品向交互数据稀疏的节点传递信息，并缓解交互数据在不同用户、商品节点间倾斜分布的问题。SHT的超图Transformer采用了一种缩放点积形式的注意力计算机制，用于进行超图结构学习。在这一过程中，节点表征注入了图卷积网络得到的拓扑感知表征，以保留交互图中节点的局部拓扑结构及其整体在交互图中的全局位置信息。同时，多通道注意力计算方式进一步扩展了表征空间，提升了结构学习的效果。

经过深层提取的超边特征通过相似的Transformer注意力机制传递回用户、商品节点，以在用户、商品表征中注入全局关系学习的结果，迭代地进行多次信息传播，并将每次的节点表征进行累和，即得到了超图Transformer最终的用户、商品表征。

2.3 局部-全局自增强学习

为了解决局部观测数据中可能存在的噪声问题，SHT在局部表征学习和全局表征学习之间增加了一个自监督任务，使用全局关系学习的结果来修正局部观测数据中的噪声。该自监督任务使用局部拓扑感知表征来预测原始观测图中边的可靠性，即边不是噪声的概率，其标签数据来自超图Transformer网络。通过这种方式，SHT将超图Transformer得到的高级、去噪特征，转移到了拓扑感知表征中的低级、含噪表征，从而提升了模型的鲁棒性。

SHT利用超图学习的结果，对采样边的可靠性进行标注生成，使用元学习网络捕捉高级超边表征中的全局信息，并生成针对用户域和商品域的表征迁移网络，用于注入超图Transformer习得的全局信息并尝试通过表征变换弥补超图关系学习和可靠性预测任务之间的差异。自监督任务通过hinge loss拉近两个模型差值的距离，以对齐他们对观测边可靠性的预测，从而拓扑感知表征受到数据噪声的影响。

3. 实验结果

本文使用Yelp、Gowalla和Tmall三个公开数据集进行实验验证，详见下表统计信息。采用全排列方式进行评测，预测每个用户对训练正例以外所有商品的偏好程度并进行排序，通过测试正例在排序结果中排名靠前来衡量模型推荐效果。采用Recall@N和NDCG@N作为衡量指标。我们将SHT与属于7个不同研究路线的15个基线方法进行了对比。

3.1 对比实验

本文实验将SHT模型与所有基线方法进行推荐效果对比，实验验证指标如下图所示。从结果中可以观察到SHT相对于基线方法的提升，从中可以看出我们的判别式自监督方法对于现有图神经网络架构的提升效果。

3.2 模型鲁棒性测试

我们测试了SHT对噪声和稀疏度的模型鲁棒性。针对噪声扰动，我们将不同比例的交互边进行随机替换，检测MHCN、LightGCN和SHT三个模型在不同噪声比例下的效果变化。实验结果表明，在噪声比例较大时，SHT能够相对地保持较小的模型退化，验证了SHT对抗噪音的鲁棒性。另外，我们根据交互稀疏度将用户和商品分为不同集合，测试特定交互数量范围内的推荐效果。结果表明，SHT在各个稀疏度的数据上都表现出更好的推荐效果，商品的交互稀疏度对模型预测效果的影响显著更大，而在商品稀疏度实验中，SHT在中间稀疏度上的效果提升明显大于在最稠密数据集上的提升，验证了SHT相对基线方法更强的抗稀疏能力。

3.3 样例学习

最后，本文选取了三个具体样例，探究SHT的超图Transformer和自监督学习方式对超图关系学习和噪声判别的有效性。结果显示，SHT通过表征学习挖掘商品间潜在关系的能力，在学习过程中发掘出了未被模型利用的潜在关系。同时，SHT对交互的可靠性进行了正确的预测。这验证了SHT的判别式自监督学习方法对模型的有效性。

总结

这一工作探索了使用超图Transformer网络架构和自监督学习方法来加强协同过滤推荐系统。本文提出的SHT方法通过超图结构学习和超图信息传播缓解数据中的噪声和倾斜分布问题。为了进一步去除交互噪声的影响，SHT还利用了一种新颖的可靠性预测自监督任务，扩展模型训练方法，并提升模型对抗噪音和稀疏的鲁棒性。在真实大规模交互数据集上的实验充分验证了SHT方法的效果。在未来的工作中，可以将SHT架构拓展到更多的推荐场景。