【论文阅读】Learning Graph-based Disentangled Representations for Next POI Recommendation

【论文阅读】Learning Graph-based Disentangled Representations for Next POI Recommendation

Metadata

authors:: Zhaobo Wang, Yanmin Zhu, Haobing Liu, Chunyang Wang container:: Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval year:: 2022 DOI:: 10.1145/3477495.3532012 rating:: ⭐⭐⭐⭐ share:: false comment:: 将 POI 分解为多个维度进行表示，利用 GCN 进行特征提取，采用多头注意力对各个分解维度进行处理

前言

2022 年 SIGIR：Learning Graph-based Disentangled Representations for Next POI Recommendation

问题描述

OverView

论文认为，以前的合并地理信息的方法不能模拟 POI 对用户的复杂影响：

1. 首先，用户到某个 POI 的各种潜在因素没有被有效地分解开。

例如用户u1​去l3的主要原因是个人偏好，尽管l3距离他当前的位置l1较远。另外一方面，用户u2u_2u2​更关注l3l_3l3​本身的作用（例如为餐厅），并且更关心距离。然而现有方法大多专注于黑盒模型的训练，将这些因素忽略了。

1. 其次，在以往的大多数方法中，POI 的基于距离的影响也过于简化了。

例如l3l_3l3​和l4l_4l4​作用相同，l4l_4l4​甚至距离l2l_2l2​更近，但或许由于物理因素的影响（例如河流），用户还是选择了l3l_3l3​。因此，POI 之间的距离影响可能包含多种因素，仅仅基于距离的表示并不合理。

为了解决上面这些问题，论文专注于对 POI 进行更好地表征，提出了一个新的 Disentangled Representation-enhanced Attention Network (DRAN)，将 POI 表示分解为多个独立的分量；提出了 Disentangled Graph Convolution Network (DGCN) 学习 POI 表征，并对 self-Attention 进行拓展，以及建模用户偏好。论文主要贡献如下：

1. 明确了 POI 包含的多方面因素并进行分解，并提出 DGCN 进行实现；
2. 提出 DRAN，充分利用 POI 全局信息并学习用户的动态偏好。

准备工作

Graph Convolution

图卷积运算可以看作是一种节点表示学习方法，它通过聚合邻居节点的信息来更新节点表示。

Disentangled Representation

DRAN

模型的架构如下图所示：

Graph-based Disentangled Representation Modeling

POI Relation Graph Construction

为了更好地学习 POI 的内在特征，论文提出了两个 POI 全局关系图来更好地进行特征学习：距离矩阵和转移矩阵。

Disentangled Representation Propagation

论文希望利用 GCN 从 POI 关系矩阵中学习其分解表示，同时保持不同部分的独立。计算如下：

在上面的公式中，

的每个维度与其他维度都具有非常强的关联，这限制了 POI 分解表示的能力。因此，论文只将同个 POI 内的不同维度相互关联：

其中lll为层数。

Representation Aggregation

在 POI 关系矩阵上应用了L层的 DGCN 之后，使用聚合策略将多层表示进行聚合，论文中直接相加：

在对两个 POI 关系矩阵进行适当表示，以模拟K个部分的分解表示之后，一个简单的想法是这将两个部分串联起来最为最终的表示。但是论文考虑到两个原因并没有这么做：

1. 需要引入超参数来平衡两者之间的比例，可能无法保持不同类型的影响；
2. POI 本身就包含不同因素的影响，只表示为一种特殊类型可能会限制其能力。

POI lil_ili​的最终表示

​分别对各个分解部分进行加权处理：

其中ωj为可学习参数，控制两个部分的权重。

User Spatial-Temporal Preference Modeling

Personalized Spatial-Temporal Interval Encoding

通常来说，用户对 POI 的偏好很大程度上受空间距离的限制，用户更愿意访问附近的 POI。此外，用户的历史轨迹也在一定程度上反映出了用户偏好。因此论文明确了 POI 之间的时间空间关系进行建模，时间间隔矩阵

Disentangled Self-Attention Aggregation

为了捕获签到序列的多层次规律，论文提出了一种拓展的 self-attention。具体来说，将每个部分分为一个单独的注意力头：

User Preference Estimation

将偏好得分看作是通过和操作对不同成分的综合偏好

Model Optimization

使用交叉熵损失函数计算损失：

实验

Datasets

Result

Ablation Study

In-depth Study

进一步地，论文展示了不同 GCN 模型下的效果比较：

另一方面，为了证明 DRAN 可以有效地用 DGCN 学习 POI 的分解表示，论文计算了两个数据集上，维数的相关性，并进行了可视化展示。可以看出，结果显示了四个明显的对角线块，这表明模型具有很强的区分潜在成分的能力：

总结

论文的内容挺多，最主要的想法就是将 POI 进行分解，从不同部分对其进行表示，从最后的可视化效果图来看确实有一定作用。

参考资料

• [1] Learning Graph-based Disentangled Representations for Next POI Recommendation