KDD'23 谷歌 | CDN：交叉解耦网络来应对长尾分布的item推荐

标题：Empowering Long-tail Item Recommendation through Cross Decoupling Network (CDN) 地址：https://arxiv.53yu.com/pdf/2210.14309.pdf 会议：KDD 2023 公司：谷歌

1.导读

推荐系统中的item反馈通常是长尾分布的，即满足二八定律，少数item接收了大部分用户的反馈。在长尾分布下，推荐的item是有偏的，这会导致推荐效果变差，本文就是针对这类问题提出了相应的方法。

本文设计了一种新的交叉解耦网络CDN来解决上述问题：

• 通过混合专家结构，在商品段解耦记忆和泛化的学习过程
• 通过正则化的BBN（BBN是图像分类领域提出的方法）从不同分布中解耦用户表征（可参考这篇文章：BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition）
• 使用一种新的适配器来聚合解耦的向量，并将训练注意力转移到长尾item上。

本文主要是借鉴图像分类领域中的BBN的思路，在推荐场景中进一步改进并结合记忆信息和泛化信息进行模型构建（这种信息解耦的方式之前貌似就有，有点将两种方式缝合的感觉）感兴趣的可以先了解一下BBN。

2.CDN

CDN结构如图所示：

• 在item方面，将头部和尾部item的表征学习解耦得到记忆和泛化。采用门控专家混合（MOE）结构。将与记忆相关的特征输入专注于记忆的专家子网络。与内容相关的特征输入用于泛化的专家子网络。门控机制是一个可学习的函数，对表征进行加权。
• 在用户方面，通过正则化的双边分支网络BBN解耦用户采样策略，以减少用户偏好差异。该网络由用于通用用户偏好学习的主分支和用于补偿用户对尾部item的反馈的稀疏性的正则化分支组成。

2.1 item的记忆和泛化的解耦

2.1.1 记忆和泛化的特征

记忆特征：记住用户和item的交互，即协同信息，比如item ID。这些特征通常满足以下特点：

• 独特性：这些特征在每个item中都不一样，比如item ID
• 独立性：两个特征不会相互影响

基于上述两个特点，这些特征只记住特定item的信息，而不能推广到其他现有或看不见的item。同时，由于其独特性，这些特征也呈现出长尾分布。因此，头部item相对应的特征的embedding会更频繁地更新，从而产生显著的记忆效果。而对于与尾部项目相对应的特征，由于缺乏梯度更新，它们的embedding可能包含很多噪声。

泛化特征：泛化特征是那些可以学习用户偏好和item特征之间的相关性，并且可以推广到其他item的特征。这些特征要么在不同的物品之间共享（例如，物品类别、标签），要么是连续的特征。

2.1.2 item表征学习

采用专家（MoE）结构和基于频率的门控来解耦记忆特征和泛化特征。该结构如图2项目（左侧）所示。对于训练样本（u，i），embedding可以表示为下式，

代表专注于记忆的专家网络，

为记忆特征 （例如item ID）将这些embedding拼接作为输入；

代表泛化特征对应的专家网络 （例如，item类别）将这些泛化特征的embedding拼接作为输入；G为门控网络，

，门控网络用于平衡记忆和泛化特征。比较直接的方式是把item出现的频率作为门控函数的输入得到加权的值

。

2.2 用户表征解耦

如图2的右侧所示，作者提出了一个由两个分支组成的正则化双边分支网络：一个在原始高度偏斜的长尾分布

上训练的“主”分支; 以及一个新的“正则化”分支，该分支在相对平衡的数据分布

上训练。

包括尾部item的所有用户反馈，同时对头部item的用户反馈进行下采样，使其与最流行的尾部项目的频率一样。通过这种方式可以提高用户对尾部item偏好的学习。

在训练的时候，将属于两个分布的数据分别输入到两个分支得到对应的表征如下，f是公共网络。

主分支旨在学习保留原始分布特征的高质量用户表征，对原始分布的训练可以学习最佳和最可泛化的表征。正则化子分支被设计为向模型添加更多的尾部信息，防止对尾部商品过拟合。

3.结果