推荐系统遇上深度学习(一二七)-[谷歌]用于点击率预估消偏的交叉位置注意力机制
推荐系统遇上深度学习(一二七)-[谷歌]用于点击率预估消偏的交叉位置注意力机制
今天给大家分享的是谷歌发表的一篇用于点击率预估中消除位置偏差的论文，除考虑位置本身的影响外，还考虑了相邻位置及展示的item的交叉影响，一起来看一下。
1、背景
在点击率预估问题中，位置偏置是一类比较常见的问题，展现位置更靠前的广告无论是否真正符合用户的兴趣，都有更高的概率被点击。
过往也有一些工作来解决位置偏置的问题。最常见的做法是将位置特征作为一个模型训练的一个特征，而在线上预测时，所有候选广告使用相同的位置特征输入。这种方案实现较为简单，但是线上预测时，选择不同的位置，得到的推荐结果会存在差异，结果往往是次优的。
华为提出的PAL框架将广告被点击的概率分为两个因素：广告被用户看到的概率和用户看到广告后点击的概率。论文做了进一步的假设：用户是否看到广告只跟广告的位置有关系；同时，用户看到广告后，是否点击广告与位置无关。因此整个框架也是包含两个部分，如下图所示。在线上预测时，只需要部署右边的网络，所得到的点击率就是消除了位置偏置后的点击率。这种方案的缺点是假设太强，将问题过于简化了，没有充分考虑位置偏置与相邻位置及展示的item的交叉影响。
基于上述的分析，论文提出了Cross-Positional Attention (XPA)来消除点击率预估中的位置偏置，该模型认为一个item的曝光概率（论文中使用的名词是examination probability，为了便于理解，这里使用曝光概率），不仅与其所处的位置有关，还与其他位置以及用户对其他位置item的偏好有关。如在外卖场景下，如果item j前面展示的item均与用户兴趣匹配度较低，那么用户会继续下刷，item j的曝光概率会相对更高，如果前面有item比较符合用户兴趣，用户更可能在前面位置成单并离开app，那么item j的曝光概率会相应减少。
那么顺着这条思路，接下来看下XPA的具体做法。
2、XPA介绍
2.1 思路概述
在一次请求中，用户对item j的点击概率受两方面的影响，首先是item j本身与用户兴趣的匹配程度，其次是item j的曝光概率，公式表示如下：
其中，item j与用户兴趣的匹配程度仅与item 本身的特征有关，而曝光概率受item j所处的位置、位置与位置之间的相关性，其他item的展示位置以及与用户兴趣的匹配程度三方面影响。
基于上述思路，论文提出的XPA模型结构如下图所示：
接下来，对两部分的计算进行分别介绍。
2.2 兴趣匹配度计算
兴趣匹配度得分r()仅与item本身的特征有关，因此将item j的特征xj作为输入，经过多层全连接神经网络得到预估值：
2.3 曝光概率计算
在介绍曝光概率计算之前，先介绍下Cross-Positional Attention，使用该注意力机制来对同一PV中其他位置以及其他展示的item的信息进行聚合表示。其中，位置j和位置k的相关程度ajk计算公式如下：
上式中，pj代表位置j的embedding表示。接下来，使用加权求和的方式，对不同位置的位置向量表示以及item表示进行加权：
曝光概率的计算由如下的三方面组成，其中权重是通过模型学习得到，而非超参数：
第一项是位置本身的曝光概率，仅与位置j的position embedding相关：
第二项刻画其他位置对位置j曝光的影响，计算公式和第一项相同，只不过是输入做了相应的替换。 第三项刻画其他位置item与用户兴趣匹配度对曝光的影响，计算公式与兴趣匹配度计算相同。
3、总结
论文提出了一种新的消除位置偏置的思路，对于位置曝光概率计算的各个影响因素做了较为具体的拆解。由于在线上预测时，无需对曝光概率进行预测，那么曝光概率计算中的第三项，巧妙的将在单点CTR预估中难以引入的上下文展示的item信息加入到计算中，提升了CTR预估的准确性。消偏作为预估任务中较为重要的一方面，也是引起了越来越多的关注，结合自身业务的特点，设计不同的消偏方案，往往能够带来效果的提升。
推荐系统遇上深度学习(一二六)-[华为]信息共享的并行化深度CTR模型
推荐系统遇上深度学习(一二五)-[阿里]CTR预估中的端到端用户行为检索