专栏首页小小挖掘机推荐系统遇上深度学习(四十一)-使用RNN做基于会话推荐的一些小trick

推荐系统遇上深度学习(四十一)-使用RNN做基于会话推荐的一些小trick

本文论文的题目是《Improved Recurrent Neural Networks for Session-based Recommendations》 论文下载地址为:https://arxiv.org/abs/1606.08117

本文仍然使用RNN做基于会话的推荐,但在此基础上,提出了几种提升预测效果的方法,我们一起来学习一下吧。

1、基础模型

基本的RNN模型如下图所示:

而对于其中一个序列,其过程如下:

对于一个输入序列x= [x1,x2,....,xr-1,xr],模型输出y=M(x),并使用交叉熵损失或者rank的损失函数(如上一篇中提到的BPR和TOP1损失函数)来进行模型的训练。

2、模型改进

本节介绍几种针对基础模型的改进。包括Data augmentation、Adapting to temporal changes、Use of privileged information、Output embeddings for faster predictions,咱们细细道来。

2.1 Data augmentation

第一种方式是数据增强,本文提出了两种增强的方式。

第一种方式,便是将一条长度为n的序列拆分成n-1条训练数据,假设一条长度为4的序列(l1,l2,l3,l4),将其拆分成3条数据,即((l1),l2),((l1,l2),l3),((l1,l2,l3),l4)。如下图所示:

第二种方式,是将点击序列中的一些数据随机的丢掉,可以增强训练的鲁棒性,如下图所示:

2.2 Adapting to temporal changes

用户的行为偏好是随着时间而变化的,近期的行为能够更好的代表当前用户的偏好。因此啊,我们可以定义一个近期的时间节点,比如近半年之内,只用这部分数据去训练模型。但是呢,这样会造成训练数据太少。

所以文中使用预训练的方法。即用所有的数据先预训练模型,然后只用近期的数据进行模型的进一步训练。

2.3 Use of privileged information

这里是使用privileged information(不知是否可以翻译为超越信息)来训练模型。假设有序列[x1,x2,....,xr,xr+1,...,xn-1,xn],当此条训练数据是使用[x1,x2,....,xr]预测xr+1,那么其对应的privileged information是[xn,xn-1,...,xr+2]。

思路是,用户点击某item后的点击序列中实际上能提供该item的信息,这些信息尽管在实际预测时使用不上,但在训练时我们可以加以利用。具体做法上,先使用privileged information训练一个模型,作为teacher模型,然后训练一个student模型,即我们实际想要学习的模型。

假设teacher模型是M*,模型输出是M*(x*),student模型是M,模型输出为M(x),预测的实际输出(即label对应的one-hot encoding)为V(xn),那么此时的损失函数为:

2.4 Output embeddings for faster predictions

模型在最后输出层的参数数目为H * N,H是GRU单元的size,N是item的数量。当我们的item数目过多的时候,这样不仅训练慢,同时在预测阶段的时间也会比较长。有两种常见的方法,即我们在word2vec中见过的,hierarchical softmax和负采样。

本文提出了一种新的做法,即输出层预测的不再是点击每个item的概率,而是直接输出item的embedding,并与label对应的item的embedding进行对比,计算cosine距离作为损失。

但是,这种方法需要item的embedding十分准确,本文提出的方法是使用模型训练出的item embedding作为label。而这里的模型可以是使用基准模型+前三种改进方式训练出的模型。

3、实验效果及结论

好了,论文实验了上面几种改进方法的效果:

M1:基准RNN模型 + 数据增强 M2:基准RNN模型 + 数据增强 + 预训练 M3:基准RNN模型 + privileged information M4:基准RNN模型 + Output embeddings,这里使用的item embedding是使用M1模型训练出的。

模型结果如下:

左面的结果,GRU size是100,右边是GRU size是1000。虚线是基准模型的结果,横轴的负数代表使用的训练集。比如,我们将所有的训练集按照时间先后排序,-8即代表使用最近的1/256的数据集进行训练,-6代表使用最近的1/64的数据集进行训练,0就是使用所有的训练集进行训练。

可以看到,M2的效果最好,同时,使用最近1/64的数据可以得到最好的效果。

本文分享自微信公众号 - 小小挖掘机(wAIsjwj),作者:石晓文

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • ML&DEV[16] | 算法工程师内功修炼

    所谓算法,所谓人工智能,很多媒体,或者是一些教程,甚至是现在的主流论文,很容易地会把大家的思路带入到各种深度学习(没错,机器学习都已经out那种)等之类所谓比较...

    石晓文
  • 算法工程师的日常工作内容?你想知道的可能都在这里

    有很多小伙伴可能都对未来的工作内容有所好奇,不知道所谓的算法工程师到底日常在做什么,而我以后能不能胜任?

    石晓文
  • 课程笔记-吴恩达 16 周「TF 实践」最新专项课

    首先抱歉用「标题党」的形式把大家引进来看,但我的确只用了 2 个晚上,开着 1.75 倍的语速听课,拿到了 TensorFlow in Practice 专项课...

    石晓文
  • 【典型案例】如何使用机器学习帮助你快速成为花朵分类专家

    随着信息时代的发展,伴随着照相装备和图片采集设备的普及,越来越多的图片数据广泛存在于生产生活的各个角落,如何对海量图片数据进行高效的分类和检索成为了一项新的挑战...

    腾讯智能钛AI开发者
  • 细思极恐!只需54块钱,你也能让AI伪造一系列联合国发言

    最近,有研究人员真就搞出了一个。手握这个生成器,你就可以无限生成逼真的联合国演讲风格的内容。

    量子位
  • 算法大赛神器:集成学习方法关键点介绍

    本文的目的是介绍集成学习方法的各种概念。将解释一些必要的关键点,以便读者能够很好地理解相关方法的使用,并能够在需要时设计适合的解决方案。

    deephub
  • 【学员分享】深度学习计算机视觉,两个星期从入门到上线

    在讲这个项目之前,很多业外人士可能不明白人工智能(AI),机器学习(ML),深度学习(DL),这三者是什么关系。先科普一下小常识,它们三者是包含子集关系。即人工...

    用户1508658
  • 笔记︱集成学习Ensemble Learning与树模型、Bagging 和 Boosting、模型融合

    本文参考:模型融合的【机器学习】模型融合方法概述 概况有五个部分:Voting、Averaging、Bagging 、blending、Boosting、 S...

    素质
  • 数据挖掘模型生命周期管理

    为成功地利用数据挖掘模型,我们需要从开发阶段直至生产环境对模型进行全面跟踪管理与评估。挖掘模型生命周期过程是由以下阶段组成的高效交替过程。 ? 确定商业目标 ...

    机器学习AI算法工程
  • 简析集成学习

    当我们第一次接触机器学习问题的时候,面对着大量的数据和一个分类/回归的机器学习任务,我们本能地会采取这样的方式:选择一个决策树分类器或一个Lasso回归模型,将...

    企鹅号小编

扫码关注云+社区

领取腾讯云代金券