E4SRec | 一种高效、可扩展的序列推荐大语言模型框架

TLDR: 针对当前利用大语言模型来执行推荐任务时存在的不能有效处理ID信息的挑战，本文提出了一种高效可扩展的大语言模型序列推荐框架，其能够高效的结合传统基于ID的推荐模型。实验展示了其有效性、高效性和可扩展性。

论文：arxiv.org/abs/2312.02443 代码：github.com/HestiaSky/E4SRec/

近年来，大语言模型突飞猛进的研究进展促使了研究者们开始探索其在推荐系统领域中的巨大潜力。由于大语言模型最开始是为自然语言处理任务而设计的，因此现有许多基于大模型的推荐系统的创新范式都是将推荐任务转换为开放域的自然语言生成任务来完成的。然而，这种方法需要要求物品具有丰富的语义信息。尽管如此，其经常输出产生一些不在原始物品索引内的结果，这就对推荐结果产生了不好的体验，并且这种方法效率低下和可扩展性都较差。

另外，当今推荐算法仍然是基于ID所主导的范式，因此在实际的推荐系统中经常依赖大量的ID信息来表示用户和物品。然而，现有的大语言模型推荐系统不能很好的建模ID信息，成为了一个非常严峻的挑战。

基于此，本文提出了一种对大型语言模型进行序列推荐的高效、可扩展的框架E4SRec，它能够将大语言模型与传统的基于ID信息的推荐系统无缝集成在一起，通过将ID序列作为输入，确保生成的输出包含在候选列表内并通过设计灵活的插件来生成已有的物品ID列表，其能够很好的满足基于ID的推荐任务需求。

总的来说，所提出的E4SRec模型仅接受ID序列作为输入，并通过在每个前向过程中仅对所有候选项进行预测来确保高效的可控生成。下图展示了该模型的整体架构，左侧部分展示了所提出模型的结构，包括输入层、大型语言模型层和预测层。右上部分描述了高效的推理过程。右下部分展示了E4SRec的完整解决方案。

具体而言，E4SRec模型包括四个关键阶段：序列推荐模型预训练、大语言模型（LLM）指导调整、E4SRec模型训练和E4SRec模型部署。

在训练阶段，对于每个给定的序列推荐数据集，我们首先预训练一个传统的序列推荐模型，然后提取物品ID嵌入以准备将ID注入到大语言模型（LLM）中。并且对大语言模型进行指导调整以激发其遵循指导的能力，调整后的大语言模型可以被用于所有任务特定的模型。

然后，在E4SRec的训练阶段，通过对物品ID嵌入进行线性投影，将物品ID序列包装成提示信息以进行ID注入。通过冻结LLM的所有参数，仅为在特定数据集上进行适应而训练额外的最小参数集，通过这种方式实现高效的训练和调参。推荐结果通过物品线性投影实现并且通过计算大语言模型输出和所有候选项之间的联合概率分布，最终产生对于物品的预测。

最后，一旦训练完成，E4SRec只需要四个可插拔的组件：物品ID嵌入、输入线性投影、适配器和物品线性投影，然后可以以轻量级的方式部署到实际的应用中。

通过在四个广泛使用的真实世界数据集（Beauty, Sports, Toys和Yelp）上进行的全面实验验证了所提出的E4SRec模型的有效性。下图展示了所提出模型相比于多个基线模型的实验结果。

更多技术细节可阅读原始论文。