KDD'23 美团 | 用于跨域推荐的协同迁移学习框架

秋枫学习笔记

发布于 2023-08-18 12:39:29

8080

发布于 2023-08-18 12:39:29

参考论文：A Collaborative Transfer Learning Framework for Cross-domain Recommendation 链接：https://arxiv.org/pdf/2306.16425.pdf 会议：KDD 2023 公司：美团

1 引言

在推荐系统应用场景中，用户在不同业务域的兴趣和需求往往不同，且在每个域的点击率(CTR)也可能有较大差异，这就导致实际场景中需要对每个业务域单独建模CTR模型。迁移学习的微调模型可能会使模型陷入偏好于源域(source domain)的局部最优，使得训练结果很难适用于目标域。同时，不同域之间的数据量和特征模式存在显著差异(称为领域转移)可能导致迁移过程中出现负迁移现象。

为解决这些问题，本文提出了协作性跨域迁移学习框架(CCTL)。CCTL使用对称"同伴"网络评估源域(source domain)在目标域(target domain，需要预测的业务域)上的信息增益，并使用信息流网络调整每个源域样本的信息传递权重，这种方法可以充分利用其他域数据，同时避免负迁移。此外，利用表征增强网络用作辅助任务来保留特定领域的特征。

2 方法

2.1 问题定义

先将跨域 CTR 预测问题定义为使用来自一个或多个源域(source domain)的数据来增强 CTR 模型在目标域上的性能。定义输入样本

X_i^{d}

和对应的标签

y_i^{d}

来自于业务域

d \in \{s, t\}

，其中s代表源域、t代表目标域。跨域CTR预测的目标是使用来自两个业务领域的CTR样本来训练模型，即使用源域样本

(X_i^s,y_i^s)

和目标域样本

(X_j^t,y_j^t)

来预测目标域的点击率。可表示为：

\mathcal{J}=\operatorname{minimize}\left\{\frac{1}{N_t} \sum_{x_i \in X^t}^{N_t} \operatorname{Loss}\left(y_i^t, f\left(x_i, \Theta_{\text {model }} \mid X_j^s, X_j^t\right)\right)\right\}

其中

x_i

是样本集合中的单条样本，

N_t

是样本数，loss采用的是CTR问题中通用的交叉熵函数

2.2 CCTL模型概述

CCTL整体结构如图，由3个部分组成：对称同伴网络(SCN)、信息流网络(IFN)和表征增强网络(REN)。SCN通过双塔结构来评估样本从源域到目标域的信息增益；IFN的作用是评估每个源样本可以带来多少信息，并通过一个输出权重帮助信息流动，源域和目标域语义信息也通过IFN对齐。REN是一个辅助网络，通过对比设计来保留不同域的独特信息。三个组件协同工作，充分利用跨域信息并优化模型训练。

2.3 对称同伴网络(SCN)

主要描述：训练目标域网络并检测来自源域的负迁移。通过设计对称结构，可以将更多有用的信息从源域样本转移到目标域。

源域和目标域在用户和项目方面具有相似性，但数据分布不同。来自源域的信息噪声可能会对目标域产生负面影响，从而导致负迁移现象。简单的迁移学习技术（例如通过组合来自两个域的所有样本进行预训练和微调或者多任务学习）可能不会带来显着的改进，因为未评估源域样本对目标域的影响。SCN的主要目的是识别训练过程中的负迁移。为了准确评估源样本对目标域的影响，最直接的方法是将在混合域样本上训练的模型与仅在目标域上训练的模型的性能进行比较。然后，"影响"可以认定为两个模型之间离线指标的差异。基于此概念设计的SCN采用双塔网络架构，如下图所示。在SCN中，一个塔(称为混合塔)同时接收来自源域和目标域的输入，而另一个塔(称为纯塔)仅接收来自目标域的输入。从控制变量的原理来看，混合塔和纯塔之间的差异完全归因于源域的影响。

如图所示，混合塔会接收两部分的输入，在loss设计上

Loss_{mixed} = Loss_{src} + Loss_{tgt}

,纯塔的损失定义为

Loss_{pure}

,因此信息增量可以定义为

r = Loss_{gain} = Loss_{pure} - Loss_{tgt}

2.4 信息流网络(IFN)

主要描述：接收来自SCN的反馈和梯度更新，并传输源域样本权重和表征。由于并非所有来自源域样本的信息都是有用的，因此有必要进行加权传输。

SCN 能够评估负迁移并在跨域训练期间检测它。如前所述，现有方法中的负迁移通常是由于误用源域样本而引起的，其中一些样本仅对目标域有用。下图中信息流网络的主要功能有三个方面：1）评估源域中单个样本对于目标域的潜在利润系数。2）评估目标与目标域的一致对齐。最大化目标域模型的效果。3）将源域中获得的信息有效转移到目标域。

2.5 表征增强网络(REN)

主要描述：利用对比学习策略区分不同领域样本之间的相似性和差异性，从而减少源领域的领域特定知识对目标领域的有害影响。

在迁移学习的范式中，实验发现当领域之间的差异较大时，单一的嵌入表征无法完全覆盖跨域的含义。因为每个域都有自己独特的知识，即使对于不同域的同一item也是如此。例如，在搜索和Feed场景中，搜索域有查询信息而Feed域没有。因此，本文尝试在迁移过程中保留一些特定领域的知识，以适应源领域和目标领域存在显着差异的情况。主要基于以下两个思路：1.最大化序列表征之间的相似性和最小化 ID 嵌入表征之间的相似度

对于同一用户尽管不同域的行为序列存在差异，但用户的兴趣保持稳定，并通过不同域的异构序列来表达。因此，本文认为不同域之间的用户表示应尽可能保持一致。因此有必要最大化序列嵌入之间的相似性。在最大化用户相似度的基础上，还希望保留每个域的独特信息，期望提供从源领域到目标领域的差异化信息。ID Embedding 是一个域的微观表示，因此控制不同领域之间相同 ID 的差异化表征可以保留更多的附加信息。

上述两个想法，最大最小形式化如下：

\begin{aligned} min[sim(V_{id}^{s},V_{id}^{t})] \\ max[sim(V_{seq}^{s},V_{seq}^{t})] \end{aligned}

其中v代表embedding结果，sim计算相似度，使用的归一化余弦相似度

\operatorname{sim}\left(\mathbf{v}_i, \mathbf{v}_j\right)=\frac{\mathbf{v}_i \cdot \mathbf{v}_j}{\left\|\mathbf{v}_i\right\|_2 \cdot\left\|\mathbf{v}_j\right\|_2}

同时优化max和min的同时，通过等价变换，损失公式可以表示为

Loss_{ren} = sim(V_{id}^{s},V_{id}^{t})- sim(V_{seq}^{s},V_{seq}^{t})

REN的辅助损失被加到到SCN中，帮助混合塔更好地识别域内特定和不变的特征。双嵌入表征设计的主要思想是保持域之间的差异，并且嵌入表征的分离也避免了域之间不同编码可能会发生的冲突。