DEI2N：捕捉用户动态即时兴趣进行CTR预估

秋枫学习笔记

发布于 2024-01-23 16:49:15

1850

发布于 2024-01-23 16:49:15

原创秋枫学习笔记秋枫学习笔记 2024-01-14 11:49 发表于上海

1. 导读

本文是针对触发诱导推荐（Trigger-Induced Recommendation，TIR）提出的推荐算法，所谓TIR就是比如在大促活动会场点击某个item后会跳转到承接页，承接页里会有相关的商品，这些商品就是通过点击前面的item触发的，这个item有点像一个“钩子”。例子如下图所示

触发的item可以表明用户的即时兴趣，本文提出的深度进化即时兴趣网络DEI2N，对即时兴趣进行建模，从而更好地在承接页进行商品推荐。

设计了一个即时兴趣建模层，用于预测用户在承接页向下滑动时的即时兴趣强度变化
考虑实践信息，进行行为建模
设计交互层学习触发item和目标item之间的交互

2.方法

Alt text

如图2所示，用户即时兴趣建模层通过同时考虑触发item和用户行为来对用户即时兴趣进行建模，当用户向下滑动时，预测即时兴趣强度的动态变化。用户soft兴趣建模层和用户hard兴趣建模层用于根据触发item和目标item从用户的行为中提取用户的兴趣。融合兴趣层利用用户即时兴趣融合从用户soft兴趣建模层提取的用户兴趣。交互层学习触发item和目标item的特征之间的交互关系。

2.1 即时兴趣建模

用户在点击了触发item的时候，这个item代表了他当时的即时兴趣，但是当用户在承接页不断往下滑动的时候，他的进来时对应的即时兴趣的强度会发生动态变化。

因为，作者发现，当用户向下滑动时，与触发item具有相同类别的item与不同类别的item之间的CTR的差异时不断缩小的。

用户即时兴趣建模层预测用户向下滑动时即时兴趣强度的动态变化。输入包含用户画像、上下文信息、触发item和触发item相关的子序列的池化，输入到MLP中，生成两个概率得分，

p_{tr}

和

p_{ta}

，

p_{tr}+p_{ta}=1

，

p_{tr},p_{ta}=softmax(MLP(e_u,e_c,e_{tr},sum(E_b^h)))

其中

E_{b}^h

表示用户历史行为中和当前触发item的类目相同的item构成的序列，按时间排序。

p_{tr}，p_{ta}

分别表示触发item和目标item和历史子序列的相关性。它负责确定用户对触发item/目标item的感兴趣程度。上下文emb中包含用户当前正在浏览的页码，作者发现页码能显著的反映用户即时兴趣强度的演变。

2.2 用户soft兴趣建模

通常计算用户兴趣的时候，是基于候选item和历史行为序列进行attention等操作，但是对于触发的业务场景，触发item反映用户对当前item有较强的即时兴趣，所以需要同时考虑触发item和目标item。

利用多头自注意力机制处理用户的历史行为序列，对于自注意力机制大家应该都比较熟悉了，这里不再赘述，最后得到的emb表示为

E_u^s

。使用两个注意力单元分别提取用户对目标item和触发item的兴趣。并且加入时间信息

E_t

。这里的时间信息是用户历史行为的时间间隔表征，下面以目标item为例（同理可以得到触发item的soft兴趣表征），其中

e_{u_j}^s

表示经过多头自注意力之后，历史行为中第j个item的表征，

e_{t_j}

表示第j个item距今的实践间隔表征，a()为注意力单元，如图2右上（和DIN有类似之处）

e_{ta}^s=\sum_{j=1}^T{a(e_{u_j}^s;e_{t_j};e_{ta})e_{u_j}^s}=\sum_{j=1}^T{w_{ta_j}e_{u_j}^s}

2.3 用户hard兴趣建模

和前面即时兴趣建模类似，从历史序列中筛选出和触发item类型一样的item组成的子序列，聚合这个子序列对前面提取的即时兴趣起到补充作用。这个过程有助于过滤掉不相关的噪声，并覆盖更长时间的用户历史行为。

E_{b}^h=\{e_{b_1}^h,...,e_{b_{T_h}}^h\} \in \mathbb{R}^{T_h\times d_{time}}

, T是子序列的长度。子序列的时间间隔表示为

E_{t}^h=\{e_{t_1}^h,...,e_{t_{T_h}}^h\} \in \mathbb{R}^{T_h\times d_{time}}

. 然后，使用之前提到的注意力单元来捕捉用户兴趣相对于目标item的相关性。由于该子序列已经与触发项相关，因此不需要再在触发item上再来一次。

2.4 融合和交互

前面通过即时兴趣建模得到了用户对触发item和目标item的相关性，并且得到了对应兴趣的emb表征，因此融合时就是利用得到的权重对两部分进行加权，将两部分兴趣融合

e_{mix}^s=p_{tr}*e_{tr}^s+p_{ta}^s*e_{ta}^s

在交互层，操作也比较简单，将触发item和目标item的emb进行交互，将两者逐元素相乘再拼接经过MLP

e^i=MLP(e_{ta};e_{tr};e_{tr}\times e_{ta})

最后拼接hard兴趣

e_{ta}^h

e_{mix}^s

和$${e^i}进行预测和交叉熵损失函数构造

3. 结果

Alt text

本文参与腾讯云自媒体分享计划，分享自微信公众号。

原始发表：2024-01-21，如有侵权请联系 cloudcommunity@tencent.com 删除

学习笔记

本文分享自秋枫学习笔记微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度