推荐系统遇上深度学习(四十一)-使用RNN做基于会话推荐的一些小trick

本文论文的题目是《Improved Recurrent Neural Networks for Session-based Recommendations》 论文下载地址为：https://arxiv.org/abs/1606.08117

本文仍然使用RNN做基于会话的推荐，但在此基础上，提出了几种提升预测效果的方法，我们一起来学习一下吧。

1、基础模型

基本的RNN模型如下图所示：

而对于其中一个序列，其过程如下：

对于一个输入序列x= [x1,x2,....,xr-1,xr]，模型输出y=M(x)，并使用交叉熵损失或者rank的损失函数（如上一篇中提到的BPR和TOP1损失函数）来进行模型的训练。

2、模型改进

本节介绍几种针对基础模型的改进。包括Data augmentation、Adapting to temporal changes、Use of privileged information、Output embeddings for faster predictions，咱们细细道来。

2.1 Data augmentation

第一种方式是数据增强，本文提出了两种增强的方式。

第一种方式，便是将一条长度为n的序列拆分成n-1条训练数据，假设一条长度为4的序列(l1,l2,l3,l4),将其拆分成3条数据，即((l1),l2),((l1,l2),l3),((l1,l2,l3),l4)。如下图所示：

第二种方式，是将点击序列中的一些数据随机的丢掉，可以增强训练的鲁棒性，如下图所示：

2.2 Adapting to temporal changes

用户的行为偏好是随着时间而变化的，近期的行为能够更好的代表当前用户的偏好。因此啊，我们可以定义一个近期的时间节点，比如近半年之内，只用这部分数据去训练模型。但是呢，这样会造成训练数据太少。

所以文中使用预训练的方法。即用所有的数据先预训练模型，然后只用近期的数据进行模型的进一步训练。

2.3 Use of privileged information

这里是使用privileged information（不知是否可以翻译为超越信息）来训练模型。假设有序列[x1,x2,....,xr,xr+1,...,xn-1,xn]，当此条训练数据是使用[x1,x2,....,xr]预测xr+1，那么其对应的privileged information是[xn,xn-1,...,xr+2]。

思路是，用户点击某item后的点击序列中实际上能提供该item的信息，这些信息尽管在实际预测时使用不上，但在训练时我们可以加以利用。具体做法上，先使用privileged information训练一个模型，作为teacher模型，然后训练一个student模型，即我们实际想要学习的模型。

假设teacher模型是M*，模型输出是M*(x*)，student模型是M，模型输出为M(x)，预测的实际输出(即label对应的one-hot encoding)为V(xn)，那么此时的损失函数为：

2.4 Output embeddings for faster predictions

模型在最后输出层的参数数目为H * N，H是GRU单元的size，N是item的数量。当我们的item数目过多的时候，这样不仅训练慢，同时在预测阶段的时间也会比较长。有两种常见的方法，即我们在word2vec中见过的，hierarchical softmax和负采样。

本文提出了一种新的做法，即输出层预测的不再是点击每个item的概率，而是直接输出item的embedding，并与label对应的item的embedding进行对比，计算cosine距离作为损失。

但是，这种方法需要item的embedding十分准确，本文提出的方法是使用模型训练出的item embedding作为label。而这里的模型可以是使用基准模型+前三种改进方式训练出的模型。

3、实验效果及结论

好了，论文实验了上面几种改进方法的效果：

M1：基准RNN模型 + 数据增强 M2：基准RNN模型 + 数据增强 + 预训练 M3：基准RNN模型 + privileged information M4：基准RNN模型 + Output embeddings，这里使用的item embedding是使用M1模型训练出的。

模型结果如下：

左面的结果，GRU size是100，右边是GRU size是1000。虚线是基准模型的结果，横轴的负数代表使用的训练集。比如，我们将所有的训练集按照时间先后排序，-8即代表使用最近的1/256的数据集进行训练，-6代表使用最近的1/64的数据集进行训练，0就是使用所有的训练集进行训练。

可以看到，M2的效果最好，同时，使用最近1/64的数据可以得到最好的效果。