CIKM2023 | 序列推荐中的自适应多模态融合
CIKM2023 | 序列推荐中的自适应多模态融合
TLDR: 针对序列推荐中模态融合的顺序挑战，本文提出了一种基于图的自适应融合方法，以实现灵活的模态特征融合，使每种模态都能优先考虑其固有的顺序或与其他模态的相互作用。
论文：arxiv.org/abs/2308.15980 代码：github.com/HoldenHu/MMSR
在序列推荐中，多模态数据（如文本或图像）可以提供关于物品的更加全面的特征信息。然而当前的工作对何时将模态特征融合到物品表征这一问题存在不同的说法，即在序列建模前期还是后期将模态特征融合到物品表征中对推荐性能有所帮助存在争议。不管如何，两者都有各自的局限性，即早期融合对模态内特征之间的相互作用不太敏感，而后期融合对不同模态特征之间的相互作用不太敏感。
为了探究模态融合顺序对模型的影响，本文利用GRU4Rec和SASRec上的两种融合策略对亚马逊数据集进行了预实验。为了尽量减少干扰进行了两种设置：随机洗牌物品级序列（disorderd）和在保持序列的同时随机置换某些模态（mismatched）。通过实验发现后期融合模型对disorderd版本更为敏感（导致性能显著下降）。相比之下，早期融合模型对每个通道内的序列模式不太敏感。在mismatched条件下，这种情况发生了逆转，早期融合的性能下降幅度更大。这表明，后期融合对受限模态匹配的敏感度较低。
这些发现表明，模态的融合顺序至关重要。基于此，本文提出了一种基于图的整体融合方法，以实现灵活的模态特征融合，使每种模态都能优先考虑其固有的顺序性或与其他模态的相互作用。
具体的，本文介绍了一种多模态增强序列推荐框架（Multi-Modality enriched Sequential Recommendation，MMSR），该框架侧重于模态特征融合。如上图所示，MMSR 框架包括三个阶段：表示（将每个通道中的项目特征表示为节点）、融合（使用图技术聚合来自不同通道的特征）和预测（生成最终表示）。为了克服现有方法的局限性，本文旨在通过以下方法应对上述两个挑战：(1) 在融合过程中保留模态的时间顺序，以及 (2) 实现多种模态之间的有效交互。
MMSR 将每个用户的历史记录表示为一个图，其中用户历史记录序列中每个物品的模态特征都用交叉连接的节点表示。同质节点之间的边代表模态内的顺序关系，异质节点之间的边代表模态间的相互依存关系。本文考虑了三种特征通道：物品ID、图片和文本模态。每个图保持它们的时间顺序作为同质关系，同时捕获跨模态交互作为异质关系。然而，在图的构造、聚合和更新方面仍然存在挑战。
首先，为了构建图，本文采用了已有方法来创建组合嵌入，将节点表示为较小群体的组合。具体来说，首先对模态特征进行聚类，选择聚类中心的标识符作为模态编码，然后将其作为图中的新节点。这种方法有两方面的优势：通过在训练过程中减少模态节点来减少过拟合；通过将高度相似的模态分组到同一节点下来建立物品之间的联系。
在图传播过程中，MMSR 采用双重关注机制用来区分同质和异质邻居。为了自适应地分配具有不同融合顺序的节点，MMSR 允许通过更新门异步更新每个节点的表示。在模态表现出更强的顺序关系时，更新门会优先更新同质节点。相反，当模态之间的相互依赖关系更加明显时，更新门会优先更新异构节点之间的内容。因此，MMSR 建立的融合顺序跨越了从早期到晚期模态融合的范围。
在六个数据集的实验中，MMSR 的表现始终优于最先进的模型，本文的图传播方法也超越了其他图神经网络。此外，MMSR 还能自然地处理缺失的模态。
总之，本文介绍了一种多模态增强的序列推荐框架，它能在序列推荐中优化模态特征的融合机制。我们的方法解决了在顺序任务中融合多模态的复杂性问题，因为融合顺序会显著影响推荐模型的性能。该模型易于扩展到其他模态，并且有潜力应用于真实环境中。此外，探索丰富模态 的序列推荐中复杂模态关系的可解释性是未来研究的潜在方向。