SIGIR2024 | OpenP5: 大模型推荐评测平台

TLDR: 本文介绍了一个开源大模型推荐评测平台OpenP5，旨在促进用于研究的基于大模型生成式推荐系统的开发、训练和评估。

论文：https://arxiv.org/abs/2306.11134 代码：https://github.com/agiresearch/OpenP5

近年来，将大语言模型集成到推荐系统中引起了工业界和研究人员的兴趣。尽管目前已经有很多相关的研究，但该领域仍处于兴起阶段，且缺乏开源的统一研发平台。上述局限性可能会阻碍基于大模型推荐研究的探索。

本文提出了一个开源平台OpenP5，旨在促进用于研究目的的基于大模型的生成式推荐系统的开发、训练和评估。该平台在10个广泛认可的公共数据集上进行实验。

另外，OpenP5使用编码器-解码器大模型(如T5)和仅解码器的大模型(如Llama-2)实现，满足了两个基本的推荐任务:序列推荐和直接推荐。下图展示了不同推荐任务所对应的提示的不同。

认识到物品ID在基于大模型的推荐中的重要作用，我们还在OpenP5平台中纳入了三种物品索引方法:随机索引、顺序索引和协同索引。该平台建立在Transformers库之上，便于为用户定制基于大模型的推荐模型。OpenP5拥有一系列功能，包括可扩展的数据处理、以任务为中心的优化、全面的数据集和检查点、高效加速和标准化评估，使其成为实现和评估基于大模型推荐系统的工具。

下表展示了OpenP5相比于基线方法的优越性，并探索了在不同大模型基础上的实验效果。