【论文阅读】STAN:Spatio-Temporal Attention Network for Next Location Recommendation

【论文阅读】STAN: Spatio-Temporal Attention Network for Next Location Recommendation

Metadata

authors:: Yingtao Luo, Qiang Liu, Zhaocheng Liu container:: Proceedings of the Web Conference 2021 year:: 2021 DOI:: 10.1145/3442381.3449998 rating:: ⭐⭐⭐ share:: false comment:: 通过双层Attention的方式，对Attention公式进行修改，聚合时间以及距离信息。通过线性插值代替 GPS 网格进行空间/时间离散化。

前言

仍然是 POI 推荐的一篇论文。

2021 年 WWW 上的一篇论文：STAN: Spatio-Temporal Attention Network for Next Location Recommendation

Overview

现有问题：

1. 没有充分考虑非相邻位置和非相邻访问之间的相关性；
2. 采用空间离散化分层网格对空间距离不敏感；
3. 忽略了 personalized item frequency (PIF)。

对于第一个问题，论文给出了这样一个例子：下图中，0，1，2 分别代表家，工作单位，商场；3，4，5，6 代表餐厅。在这个例子中，用户实际上已经对非相邻的餐厅进行了两次非连续的访问。也就是所谓的非相邻位置和非相邻访问。

这篇论文利用，通过双层 Attention，首先聚合了相关的位置，对不同的访问赋予不同的权重，然后通过第二个 Attention 考虑 PIF 从候选位置中召回。

主要贡献：

1. 结合时空相关性来学习非相邻位置和非相邻访问之间的规律；
2. 用一种简单的线性插值技术代替 GPS 网格进行空间离散化，它可以恢复空间距离，反映用户的空间偏好，而不仅仅是聚合邻居；
3. 建立双层注意力网络更好地考虑 PIF 信息。

Preliminaries

分别给定用户集合

，时间集合T=

每个用户的 check-in 轨迹可以表示为：

其中

。

Trajectory Spatio-Temporal Relation Matrix

轨迹时空关系矩阵。轨迹时间关系矩阵为访问轨迹上的两个 POI 之间的访问时间间隔，轨迹空间关系矩阵为访问轨迹上的两个 POI 之间的球面距离：

​

论文中将两个矩阵写在一起了，其实是两个矩阵。

Candidate Spatio-Temporal Relation Matrix

候选时空关系矩阵。候选时间关系矩阵为，候选空间关系矩阵为所有候选位置

与访问轨迹上的位置

之间的球面距离：

候选时间关系矩阵没有很懂，看代码里好像是用户访问轨迹上 POI 两两之间的访问时间间隔。这两个矩阵貌似和代码里的都有差别。

Spatio-Temporal Attention Network

Architecture

Multimodal Embedding Module

User Trajectory Embedding Layer

首先对 user，POI，time 进行 Embedding，其中 time 为 hour of week。之后再将三者相加：

Spatio-Temporal Embedding Layer

以每小时和每一百米作为基本单位，对时空关系矩阵进行嵌入，映射到一个欧氏空间。

此外，论文也提出了一种插值嵌入的方法：

经过求和得到最终的嵌入：

Self-Attention Aggregation Layer

首先是第一个 Attention，主要用用来考虑轨迹中有不同距离和时间间隔的两次 check-in 的关联程度，对轨迹内的访问分配不同的权重，具体来说：

其中，

其中

为 mask 矩阵。

Attention Matching Layer

第二个 Attention 的作用是根据用户轨迹，在候选位置中召回最合适的 POI，并计算概率。

其中，

Balanced Sampler

因为正负样本不均衡，优化交叉熵损失不再有用。这篇论文将交叉熵损失中使用的负样本数量设置为超参数sss，在训练的每一步随机采样负样本，称为平衡采样器。

Experiments

Datasets

Recommendation Performance

Ablation Study

总结

总体来说还是比较经典的一个方法吧，在很多其他论文的 Baseline 里都能看到，算是基于 Attention 的方法里比较好的一个模型了。

参考资料

• [1] STAN: Spatio-Temporal Attention Network for Next Location Recommendation