首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >用上GAN的推荐算法成精了,看完视频马上刷出相关文章丨KDD 2021

用上GAN的推荐算法成精了,看完视频马上刷出相关文章丨KDD 2021

作者头像
量子位
发布2023-03-10 13:06:49
1810
发布2023-03-10 13:06:49
举报
文章被收录于专栏:量子位量子位
萧箫 整理自 KDD 2021 量子位 报道 | 公众号 QbitAI

这年头,推荐算法真是越来越智能了。

举个栗子,当你热衷于东京奥运会并且刷了不少剪辑视频,APP就会根据你的品味为你推荐文章、游戏或是同款周边。

没错,推荐算法早已不局限于一个场景,而是在视频、文章、小程序等各种场景中“打通任督二脉”,也就是多领域推荐算法。

但事实上,这类算法并不如想象中容易驾驭,关键在于如何抓住不同领域中,关于目标领域的有效特征。

为了让推荐算法更了解你,腾讯微信的看一看团队,针对多领域推荐任务提出了一个全新的模型,融合了生成对抗网络GAN、ELECTRA、知识表示学习等思路,学习不同领域之间的特征转移,极大地提升了多领域推荐算法的效果,论文已被KDD 2021收录。

8月18日,数据挖掘领域国际最高级别会议KDD 2021会议在线上举行,微信看一看团队的Xiaobo Hao,针对这篇名为「Adversarial Feature Translation for Multi-domain Recommendation」的论文,进行了详细解析和分享。

我们对论文解析进行了相关总结,一起来看看。

多领域推荐难在哪

推荐系统已经融入生活的方方面面,为我们提供个性化的信息获取及娱乐。

在马太效应的影响下,Google、WeChat、Twitter等平台应运而生。它们往往拥有各种(推荐)服务,能够为用户推荐多样化的物品(如文章、视频、小程序等),满足用户需求。

用户在不同推荐服务上的行为(在用户允许下),会通过用户的共享账号产生关联。

这些行为,能在目标领域行为之外提供更多信息,帮助推荐系统更加全面地了解用户,辅助提升各领域推荐效果。

多领域推荐 (Multi-domain recommendation,MDR)任务就是基于用户在多个领域的行为和特征,来同时优化多个领域的推荐效果,关键在于如何抓住不同领域中的目标领域特化的特征。

一个直观的方法,是将用户的多领域行为当作额外的输入特征,直接输入给ranking模型,但这种方法没有针对领域间的特征交互进行优化建模。

另一个方法,是近期基于多任务学习(Multi-task learning,MTL)的一些思路,将一个领域的推荐当作一个任务进行处理,取得了不错的效果。

然而,多领域推荐效果仍然严重地受限于其固有的稀疏性问题,具体体现在两个方面:其一,user-item点击行为的稀疏性(这个是推荐系统本身拥有的稀疏性问题);其二,跨领域特征交互的稀疏性(这是多领域推荐特有的稀疏性问题)。

AFT模型要解决什么?

为了解决这两个问题,使模型能够同时提升多领域推荐效果,论文提出了一个名为Adversarial Feature Translation(AFT)的模型,基于生成对抗网络(GAN)学习不同领域之间的特征转移(feature translation)。

首先,在multi-domain generator中,论文先提出了一个domain-specific masked encoder,用以强调跨领域的特征交互建模,再基于transformer层以及domain-specific attention层聚合这些跨领域交互后的特征,学习用户在目标领域下的表示,以生成虚假的物品候选(fake clicked items)输入到判别器中。

在multi-domain discriminator中,受到知识表示学习(KRL)中的基于三元组的建模方法(如TransE)的启发,论文构建了一个两阶段特征转移(two-step feature translation)模型,对领域、物品和用户不同粒度/不同领域的偏好进行可解释的建模。

团队在Netflix和微信多领域推荐数据集上进行了测试后,发现模型在离线和在线实验的多个结果上都获得了显著的提升,论文也进行了充分的消融实验和模型分析,以验证模型各个模块的有效性。

图1:多领域推荐及AFT模型框架图

具体来说,如上图1,AFT包括domain-specific masked encoder以及two-step feature translation,着重关注跨领域、多粒度的特征交互建模。

生成器 (generator)部分,论文先设计了一个domain-specific masked encoder,通过mask掉目标领域的历史行为特征(historical behaviors),来加强“其它领域历史行为特征”和“目标领域点击行为”之间的交互特征权重,以驱使AFT模型学习基于其它领域特征进行的目标领域推荐;

再用Transformer层和Domain-specific aggregation来抽取目标领域相关的用户特征,以生成top-k虚假点击的物品(fake clicked items)。这些虚假点击的物品将被输入判别器,迷惑判别器的判断,在对抗中相互提升所有领域的推荐能力。

判别器 (discriminator)部分,论文受知识表示学习模型(KRL)启发,希望显式地对用户、物品和领域进行建模。

其中,先用Transformer从多领域特征中分别抽取用户的细粒度item和粗粒度domain的偏好特征,分别标记为user item-level preference和user domain-level preference;

再构造第一个三元组(user item-level preference,user domain-level preference,user general preference),进行第一次特征转移,学习用户通用领域的偏好特征(user general preference)。第一个三元组的物理含义是,对于(Hamlet,writer,Shakespeare)三元组关系,有Hamlet+writer=Shakespeare(以KRL中的经典模型TransE为例)。

在多领域推荐中,用户不同粒度的偏好相加(item-level preference+ domain-level preference),就约等于用户通用领域的偏好(user general preference),因此这一步能得到用户通用领域的偏好。

然后,论文再次构建第二个三元组(user general preference, target domain information, user domain-specific preference),进行第二次特征转移。第二个三元组的物理含义是,用户的通用领域偏好+目标领域的特征=用户在目标领域的偏好(user domain-specific preference)。

论文基于成熟的知识表示学习模型ConvE进行两层特征转移(two-step feature translation)后,得到了用户在目标领域上的表示,并用于推荐。

那么,AFT模型到底有什么优势?

其一,AFT的GAN框架在domain-specific masked encoder的帮助下,提供了充足且高质量的多领域推荐负例,缓解了数据稀疏和过拟合的问题;

其二,生成器中的domain-specific masked encoder能加强模型的跨领域特征交互,而这正是多领域推荐的核心要素;

其三,判别器中的two-step feature translation提供了一种大胆的、显式化可解释的建模用户、物品和领域的方式,对多领域推荐提供了更深层次的理解。

团队将AFT模型和多个有竞争力的baseline模型进行了离线和线上对比。结果显示,AFT模型在多个领域上全面显著地超出所有baseline。此外,团队还进行了详尽的消融实验和模型分析实验,用以加深对AFT各个模块和参数的理解。

目前,AFT模型已经在用了——被部署于微信看一看的多领域推荐场景,正服务于千万用户。论文本身的贡献如下:

  • 针对多领域推荐问题,提出了一个全新的AFT框架,首次在多领域推荐中引入了对抗下的特征转移。
  • 提出了一种GAN框架下的domain-specific masked encoder,能够针对跨领域特征交互进行特化加强。
  • 设计了一种两阶段特征转移策略,尝试使用结构化知识表示学习的建模方式,学习用户多粒度多领域偏好、物品和领域之间的可解释的转移关系。
  • AFT在离线和线上实验中均取得显著的提升效果,并已经被部署于微信看一看系统。

AFT模型具体长啥样

上文提到,AFT模型基于GAN训练框架,主要分为生成器和判别器两个部分。

如下图2,生成器输入用户多领域行为特征,并基于domain-specific masked encoder、Transformer层和Domain-specific attention,抽取目标领域相关的用户特征,用于生成top-k虚假点击的物品(fake clicked items)。判别器则基于两阶段特征转移,获得用户向量,然后预测真实/虚假点击物品的得分。

图2:AFT具体模型,包括(a)多领域生成器和(b)多领域判别器

我们具体来看。

多领域生成器

多领域生成器旨在为用户生成每个领域上的fake clicked items,其输入是某个用户在所有n个领域上的行为序列X={X_1, …, X_n},其中X_t是第t个领域上的行为序列特征矩阵。

不失一般性,论文假设生成器正在生成目标领域d_t上用户可能点击的物品,首先使用domain-specific masked encoder处理目标领域序列X_t,随机对目标领域d_t中的行为进行mask,如下式:

公式表示序列中pos_t这些位置上的行为被[mask]的token替代,使得domain-specific masked encoder强制生成器在生成目标领域的候选物品时,会更多地考虑其它领域的用户行为。

这样虽然会丢失关键的目标领域的历史行为,导致生成器更难生成最合适的fake clicked items,但也会加强跨领域历史行为和点击的特征交互,有助于多领域推荐,特别是稀疏行为的领域上的推荐效果,瑕不掩瑜。

随后,论文使用average pooling分别聚合各个领域上(mask后)的行为序列,并基于Transformer和domain-specific attention,得到用户在目标领域上的表示h_t如下:

对每个候选物品e_i,生成器计算的点击概率p为:

论文基于生成概率p,选择目标领域上的top k的近邻物品(剔除训练集中的真实正例),作为生成器生成的负例输入判别器。

多领域判别器

在判别器中,论文首先基于Transformer特征抽取器,获取用户在细粒度的具体行为(item)上和在粗粒度的领域(domain)上的特征表示:

随后,团队基于知识表示学习中三元组的学习范式,设计了一个两阶段的特征转移:先基于用户在多领域的细粒度和粗粒度上的偏好,得到用户整体偏好;然后基于用户整体偏好和目标领域信息,得到用户在目标领域上的偏好。

传统的知识表示学习方法(如TransE)显式建模三元组关系。上文提到,对于(Hamlet, writer, Shakespeare)这个三元组关系,TransE认为:Hamlet+writer=Shakespeare。

因此,用户细粒度的偏好加上用于粗粒度的偏好,应该等于用户通用领域上的全局偏好(user general preference)。基于ConvE模型(因为他能够挖掘element-wise的特征交互),对于三元组(e_h, r, e_t)有:

类似地,在第一次特征转移中,构造了一个三元组(user item-level preference, user domain-level preference, user general preference),计算用户通用领域上的全局偏好u_g如下:

在得到user general preference后,又构建了第二个三元组(user general preference, target domain information, user domain-specific preference),并进行第二次特征转移。这个三元组的物理含义是,用户的通用领域偏好加上目标领域的特征,约等于用户在目标领域的偏好(user domain-specific preference),有:

其中,目标领域特征综合考虑了领域向量和行为向量。与生成器类似,团队基于用户在d_t的特征表示u_t,计算物品e_i的点击概率p如下:

生成器&判别器优化

模型判别器的优化如下:

生成器则是基于REINFORCE强化学习进行优化:

团队还提出一项MMD loss,目的是让生成器产生的物品和真实物品不完全一致(否则会干扰判别器的训练),具体如下:

MMD loss基于推荐系统的特质设计:在推荐系统中,绝大多数物品其实并未被曝光,团队假设所有未被用户点击的物品均为负例;和点击物品特别相似的fake clicked items,也有很大概率同样被用户点击(例如不同自媒体号发表的同一主题的新闻/视频等),这也是推荐系统item-CF的本质。

因此,团队选择加入MMD loss,使得GAN能够生成更加多样化的、相似但又不完全一样的物品作为判别器的负例。

最后,综合三项loss获得最终AFT的loss,如下:

AFT模型的判别器被部署于线上,更多模型和线上细节可参考论文第三和第四部分。

实验结果

团队在公开数据集和微信看一看数据集上进行了实验,结果表明,模型在多领域推荐上获得了显著提升

图3:AFT离线结果

此外,论文也在微信看一看多个线上推荐场景进行了A/B实验,也同样获得了显著的提升:

图4:AFT线上实验结果

消融实验也证明了模型各个模块的有效性:

图5:AFT消融实验

最后,论文也进行了详尽的模型参数分析,探索了不同mask ratio和fake clicked item number对模型效果的影响:

图6:AFT参数实验

模型已用到微信里

整体来说,这篇论文针对多领域推荐任务,提出了一个对抗特征转移的AFT模型。它基于domain-specific masked encoder加强了跨领域特征交互,设计了一种two-step feature translation,能够显式可解释地对多领域下用户不同粒度的偏好、物品和领域进行建模。

目前,AFT模型已部署于微信看一看多领域推荐模块中,我们日常用微信看一看时,就会用到这个模型。

对于未来,团队表示十分看好基于对抗和知识表示学习的跨领域特征交互思路,计划展开进一步探索。

参考文献:

[1]Bordes A, Usunier N, Garcia-Duran A, et al. Translating embeddings for modeling multi-relational data[C]//Neural Information Processing Systems (NIPS). 2013: 1-9.

[2]Covington P, Adams J, Sargin E. Deep neural networks for youtube recommendations[C]//Proceedings of the 10th ACM conference on recommender systems. 2016: 191-198.

[3]Dettmers T, Minervini P, Stenetorp P, et al. Convolutional 2d knowledge graph embeddings[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2018, 32(1).

[4]Dziugaite G K, Roy D M, Ghahramani Z. Training generative neural networks via maximum mean discrepancy optimization[J]. arXiv preprint arXiv:1505.03906, 2015.

[5]He R, Kang W C, McAuley J. Translation-based recommendation[C]//Proceedings of the eleventh ACM conference on recommender systems. 2017: 161-169.

[6]Huang J T, Sharma A, Sun S, et al. Embedding-based retrieval in facebook search[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020: 2553-2561.

[7]Ma J, Zhao Z, Yi X, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018: 1930-1939.

[8]Song W, Shi C, Xiao Z, et al. Autoint: Automatic feature interaction learning via self-attentive neural networks[C]//Proceedings of the 28th ACM International Conference on Information and Knowledge Management. 2019: 1161-1170.

[9]Sun F, Liu J, Wu J, et al. BERT4Rec: Sequential recommendation with bidirectional encoder representations from transformer[C]//Proceedings of the 28th ACM international conference on information and knowledge management. 2019: 1441-1450.

[10]Wang J, Yu L, Zhang W, et al. Irgan: A minimax game for unifying generative and discriminative information retrieval models[C]//Proceedings of the 40th International ACM SIGIR conference on Research and Development in Information Retrieval. 2017: 515-524.

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-08-19,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 多领域推荐难在哪
  • AFT模型要解决什么?
  • AFT模型具体长啥样
    • 多领域生成器
      • 多领域判别器
        • 生成器&判别器优化
        • 实验结果
        • 模型已用到微信里
        相关产品与服务
        云开发 CloudBase
        云开发(Tencent CloudBase,TCB)是腾讯云提供的云原生一体化开发环境和工具平台,为200万+企业和开发者提供高可用、自动弹性扩缩的后端云服务,可用于云端一体化开发多种端应用(小程序、公众号、Web 应用等),避免了应用开发过程中繁琐的服务器搭建及运维,开发者可以专注于业务逻辑的实现,开发门槛更低,效率更高。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档