SIGIR'23 清华 | 会话推荐中的兴趣趋势挖掘与样本权重自适应分配
SIGIR'23 清华 | 会话推荐中的兴趣趋势挖掘与样本权重自适应分配
标题：Mining Interest Trends and Adaptively Assigning Sample Weight for Session-based Recommendation 地址：https://arxiv.53yu.com/pdf/2306.11610.pdf 会议：SIGIR 2023 学校：清华
1.导读
本文是针对会话推荐（session recommendation）提出的相关方法，会话推荐是基于短期内的用户行为推荐后续可能交互的商品。本文主要考虑的点是用户的偏好不一定与交互顺序密切相关，不同样本之间的重要性是不同的。针对上述问题，本文挖掘兴趣趋势并自适应分配样本权重，简称MTAW。
- 基于用户当前的行为和他们以前的所有行为来建模用户的即时兴趣。
- 有区别地整合即时兴趣，以捕捉用户兴趣的变化趋势，从而做出更个性化的推荐。
- 设计了一种新的损失函数，根据样本在当前时期的预测难度对样本进行动态加权。
省流：
- 作者主要是通过注意力机制来捕获用户历史交互中的兴趣
- 一方面将行为序列按时间顺序切分成不同分片，在每个分片中计算用户的兴趣偏好，称为每个时刻的即时兴趣
- 一方面在上面分片计算得到的各个兴趣上利用注意力机制计算兴趣变化趋势
- 不同样本的训练难度不同，正负样本也存在不平衡性，因此作者基于focal loss的思想，基于每个样本的预测打分对损失函数进行加权。
2.方法
image.png
2.1 问题定义
令
表示商品集合，每个会话中包含m个商品
，其中的商品表示用户在会话中交互的商品。会话推荐的目标是基于会话中交互的历史商品，推荐下一时刻可能交互的商品，基于打分推荐前topk个。
2.2 用户兴趣建模
会话中的商品经过embedding层后，可以得到对饮过的embedding，再加上他们对应的位置embeddedding得到会话中的每个item的表征，表示如下，其中e是item的embedding，p是位置embedding。
2.2.1 兴趣跟踪层
用户兴趣通常是动态变化的，用户行为序列是用户兴趣的载体。本节在用户行为序列的基础上挖掘即时兴趣序列。使用注意力机制根据用户先前的交互提取用户在当前时刻的即时兴趣。表示为下式，
需要确保的是，每个item只和他之前的item相依赖，基于长度为m的会话序列可以构造以下表征
，
，
，对于这些构造后的表征，经过注意力机制可以得到下式，对所有的m个上述表征都进行注意力机制计算，可以得到
，然后在经过前馈网络得到
增加非线性。
经过FFN后的过程和transformer有点类似，包括残差链接，Layer norm，整体的兴趣跟踪层可以表示为
。
2.2.2 兴趣增强层
用户兴趣的演变将直接影响用户对下一个商品的选择。本节设计了兴趣增强层，对用户兴趣的演变过程进行深入挖掘和分析。该层将关于兴趣演变趋势的信息注入到会话表征中。为了获得用户对下一个商品兴趣的变化趋势，同样采用注意力机制来区分性地整合即时兴趣如下式，其中
表示L中的最后一个元素
。
2.3 推荐和优化
2.3.1 推荐
在推荐过程中，对于每一个候选商品i，计算相关性分数，公式如下，
2.3.2 优化
样本之间存在差异，模型预测不同会话的难度也存在差异。正负样本不平衡，负样本会主导损失的更新。本文为不同的样本分配不同的权重。基于Focal loss，本文根据当前epoch中样本的预测偏差分配权重，从而构建自适应权重（AW）损失函数，在交叉熵损失函数中添加了一个调制因子。公式如下，其中γ是温度系数。
3.结果
