SIGIR2021 | 一人一世界: 利用剪枝技术学习用户的终生表征

论文链接: https://arxiv.org/pdf/2009.13724.pdf

代码链接: https://github.com/fajieyuan/SIGIR2021_Conure

作者信息：Fajie Yuan (Westlake University, Tencent), Guoxiao Zhang(Tencent ), Alexandros Karatzoglou (Google Research), Joemon Jose (University of Glasgow), Beibei Kong (Tencent), Yudong Li(Tencent)

摘要：

学习通用的用户表征然后应用于其他与用户相关的任务（如画像预测和个性化推荐）最近引起了较多关注。现有方法通常通过独有的数据来为每个任务导出一组单独的模型参数。但是，同一个用户的表征即便是在不同的场景也经常具有一些潜在的共性，例如偏好和兴趣点。因此，单独训练的表征可能在性能上并未达到最优，并且在参数共享方面效率低下。在本文中，我们深入研究具有多任务持续学习能力的用户表征，通过使用部分旧任务的参数辅助学习新任务。当训练新任务时，以前学习的模型参数很可能会被修改。因此出现了一个新问题，即基于人工神经网络（ANN）的模型可能不再具备服务之前已经训练好的任务的能力，这种现象称之为灾难性遗忘。

为了解决这个问题，我们介绍了Conure（一种鹦鹉），它是首个可以终身学习的用户表征模型，随着时间的推移学习新任务时，不会忘记旧任务。具体来说，我们通过修剪一个经过充分训练的主干序列表征模型来迭代地删除一些不重要的权重，这些不重要的权重释放的空间可以用来学习新的任务，这种方法来源于模型压缩技术。我们通过大量的实验证明这种方式学到的用户表征效果不会存在遗忘，而且效果比其他学习范式（如基于单模型单任务的学习方式，多任务学习方式和传统的迁移学习方式）更好或者同样具有竞争性，但是Conure只需更少的参数和训练数据。