针对大语言推荐模型的精确高效遗忘学习

嘿，记得给“机器学习与推荐算法”添加星标

TLDR: 为解决基于大语言模型的推荐系统的遗忘学习问题，本文引入了适配器分区和聚合（APA）框架，可以在保持推荐性能的同时实现精确高效的遗忘学习。

论文：arxiv.org/abs/2404.10327

使用推荐数据对大语言模型进行参数高效微调（PEFT）已成为基于大语言模型的推荐系统（LLMRec）的基本范式。例如下图所示，TALLRec采用LoRA调优技术，通过指令数据中的推荐来使LLM与推荐任务保持一致。

然而，其中包含用户数据引发了隐私问题。为保护用户隐私，从LLMRec模型中删除不可用的数据（例如历史行为）变得至关重要。现有的遗忘学习方法不足以满足LLMRec的独特特征，其主要原因是遗忘计算成本较高或数据遗忘不彻底。

为此，本文引入了适配器分区和聚合（Adapter Partition and Aggregation，APA）框架，以实现精确高效的 LLMRec遗忘，同时保持整体推荐性能。APA在分区的训练数据分片上训练各自独立的适配器，并在推理过程中利用适配器聚合后的权重。整个框架如下图所示。

分区： APA根据训练数据的语义特征将其划分为平衡的异构分片，以利于保持推荐性能。

聚合： 对每个测试样本采用样本自适应方法，根据适配器在类似样本上的性能来分配适配器注意力，以优先考虑性能较高的适配器，从而提高整体性能。

值得注意的是，与传统的遗忘方法不同，本文的自适应聚合不需要额外的训练，从而避免了额外的遗忘成本。

大量的实验证实了所提出的框架的有效性和高效性：

1. 将APA的准确性与基线的准确性进行比较，表明其遗忘过程中维持推荐性能的能力更强。与重训练方法相比，性能损失更少，也表明性能更好。

1. APA不但显著提高了遗忘速率，同时还提高了推理效率。

1. 利用语义进行分区可以确保数据分片更好的异构性，以更好地聚合，从而提高推荐性能。同时使用权重分配以聚合来自不同子适配器的知识也会提高性能。

1. 随着数据分片大小的减小，遗忘学习时间显著减少。但推荐性能在减小前相对来说更加稳定。

更多技术细节请阅读原始论文