论文阅读3-----基于强化学习的推荐系统
原创论文阅读3-----基于强化学习的推荐系统
原创
Top-K Off-Policy Correction for a REINFORCE Recommender System
abstract
problems in recommendation: a complex user state space (但好在有很多隐式的数据可以使用）
the problem of previous versions of the recommender: only observing feedback on recommendations selected by the previous versions of the recommender(只考虑正反馈，可考虑负反馈或是被忽视的item)
所以作者提出了以强化学习为基础的推荐系统(可以考虑负反馈以及其他的反馈）
contribuation
(1)scaling REINFORCE to a production receommender system with an action space on the orders of millions.(就是可以适应huge action space)
(2)applying off-policy correction to address data biases in learning from logged feedback collected form multiple behavior policies(利用importance sampling方法实现离线训练，看不懂转李宏毅力强化学习,看PPO哈）
(3)proposing a novel top-k off-policy correction to account for our policy recommending multiple items at a time(作者提出可以每次推荐多个items，即多个action)
(4)showcasing the value of exploration.(强化学习的优点还在于探索未知，提高推荐满意度),同时线上环境真实训练)
proposed model
为了方便大家理解，我就先把模型图给解释清楚。
主要是通过RNN得到当前user的state,然后各种操作得到beta，beta函数主要是在对所有的logged data分布的一个模拟(用NN近似)。用离线数据（state，action,action_prob)训练好了beta后，用beta代替现在所有数据的一个分布的近似。在训练pi时，由于当前策略一直在变，所以无法使用离线的所有数据，怎么办了，你不会是想说，我们不是有所有的离线数据的近似分布嘛，对的采用importance sampling就可以把该数据修正好后用于pi的训练。importance sampling(不懂看这儿）。则很差不是该模型的所有方法了。
后面是日常的公式时间。
Top-K Off-Policy Correction
但是推荐系统一般是一下子推荐好几个东西，作者提出如下修正：
Variance Reduction Techniques
importance sampling虽然均值无偏差，但是方差差的太多，会训练的越来越差。（具体举例PPO）
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。