基于Pytorch的多任务推荐系统工具包发布

MTReclib是基于PyTorch开发的用于多任务推荐系统的开源框架。在MTReclib中，我们实现了诸多经典的多任务推荐模型，并且提供了4个多任务数据集以及相应结果。该框架易于扩展，基于该框架设计新的多任务模型或者尝试新的数据集十分方便。MTReclib地址：

https://github.com/easezyc/Multitask-Recommendation-Library

MTReclib

一、总体介绍

在推荐系统中存在多样的预测任务，比如CTR预估和CVR预估。以前的方法通常针对每个预测任务进行独立建模。事实上，任务之间存在联系，联合建模多个任务可以同时提升多个任务的效果。因此，多任务推荐有着极高的研究价值和广泛的实践应用。该工具包旨在为大家提供多任务推荐模型及数据，促进多任务推荐的研究和实践。MTReclib已提供7种多任务模型的实现，包括SingleTask, Shared-Bottom, OMoE[1], MMoE[2], PLE[3], AITM[4], MetaHeac[5]。并且基于AliExpress数据集[6]中的四个国家（Spain, French, Netherlands, and America）进行了实验。

二、方法介绍

SingleTask: 针对每个任务单独训练一个模型，常用作多任务学习的baseline。

Shared-Bottom: 一种简易的多任务模型，采用底部共享的模式，每个任务有一个单独的头部(tower)。

Shared-Bottom

OMoE[1]将共享的底层结构分为了多个专家（每个专家是一个前向神经网络），使用一个所有任务共享的gate，来以不同权重聚合多个专家提取的表示，是一种软共享机制。相比于Shared-Bottom model，MoE细化了Bottom的共享。

OMoE

MMoE: 在MoE中，不同任务的gating值相同，使得送入不同任务tower的特征表示相同。MMoE为了更好的建模任务间的关系，将MoE中的gate改进为任务特定的，每个任务有一个单独gate来控制多个Expert的权重。

MMoE

PLE: 考虑到任务间可能存在冲突，导致多任务学习中一个任务效果上升另一个任务效果下降的情况。PLE将MMoE的底部进一步拆分为了任务共享（Task-shared）和任务特定（Task-specific）的模块。该文章被评为RecSys2020 Best Paper。

PLE

AITM: 任务间存在显式的依赖，比如在广告中，只有点击了才可能发生转化的行为，因此这篇文章提出了一种自适应的信息迁移模块来建模任务间的序列依赖，从前面的任务向后面的任务迁移知识。

AITM

MetaHeac不再采用底部共享头部分离的模式，而是将头部改为gate加权共享的方式，并且采用元学习来进行训练，取得了不错的效果。

MetaHeac

三、结语

MTReclib工具包将会长期维护并保持更新，后续还会增加更多多任务推荐的方法和数据集，欢迎大家使用MTReclib作为多任务推荐系统研究和应用开发的工具。大家在使用过程中有任务和问题或是建议都欢迎提出，同时也欢迎大家一起开发、完善MTReclib这个工具包。

[1] Jacobs, Robert A., et al. "Adaptive mixtures of local experts." Neural computation 3.1 (1991): 79-87.

[2] Ma, Jiaqi, et al. "Modeling task relationships in multi-task learning with multi-gate mixture-of-experts." Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018.

[3] Tang, Hongyan, et al. "Progressive layered extraction (ple): A novel multi-task learning (mtl) model for personalized recommendations." Fourteenth ACM Conference on Recommender Systems. 2020.

[4] Xi, Dongbo, et al. "Modeling the sequential dependence among audience multi-step conversions with multi-task learning in targeted display advertising." Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining. 2021.

[5] Zhu, Yongchun, et al. "Learning to Expand Audience via Meta Hybrid Experts and Critics for Recommendation and Advertising." Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining. 2021.

[6] Li, Pengcheng, et al. "Improving multi-scenario learning to rank in e-commerce by exploiting task relationships in the label space." Proceedings of the 29th ACM International Conference on Information & Knowledge Management. 2020.