推荐系统遇上深度强化学习，会有怎样的火花？

石晓文

发布于 2019-12-04 11:42:55

7770

发布于 2019-12-04 11:42:55

【深度强化学习实验室】& 【小小挖掘机】联合打造

编辑：DeepRL

推荐系统是我们日常生活中使用最频繁的工具之一，以内容推荐著称的今日头条等都在广泛研究，然而推荐系统的难度却非常大，精准推荐一直是一个非常棘手的问题，目前有很多解决方法，今天为大家介绍的是将强化学习应用于新闻推荐中的应用。

由于新闻功能和用户偏好的动态性质，在线个性化新闻推荐是一个极具挑战性的问题。作者提出了一个基于深度Q学习的推荐框架，该框架可以显式地模拟未来的奖励。考虑将用户返回模式作为单击/不单击标签的补充，以捕获更多用户反馈信息。主要贡献了：

提出了一个强化学习框架来进行在线个性化新闻推荐。与以前的研究不同，此框架采用DQN结构，可以照顾到立即和将来的回报。尽管我们专注于新闻推荐，但是我们的框架可以推广到许多其他推荐问题。
应用了更有效的探索方法“Dueling Bandit Gradient Descent”，避免了经典探索方法（例如ϵ-贪婪和上置信界）引起的推荐准确性下降。
系统已在线部署在商业新闻推荐应用程序中。

具体的模型结构如如下：

为了预测用户是否会单击一条特定的新闻，我们构建了四类功能：

新闻功能，包括417维第一热点功能，用于描述此新闻中是否出现某些属性，包括标题，提供者，排名，实体名称，类别，主题类别以及最近1小时，6小时，24小时的点击次数，分别为1周和1年。
用户功能，主要描述用户分别在1小时，6小时，24小时，1周和1年内单击的新闻的功能（即标题，提供者，排名，实体名称，类别和主题类别）。每个时间粒度也有一个总点击计数。因此，总共将有413×5 = 2065个尺寸。
用户新闻功能。这25个维度的特征描述了用户与某则新闻之间的互动，即实体（也包括类别，主题类别和提供者）出现在用户阅读历史中的频率。
上下文功能。这些32维特征描述新闻请求发生时的上下文，包括时间，工作日和新闻的新鲜度（请求时间与新闻发布时间之间的时间差）。