近期LLM4Rec前沿论文汇总

秋枫学习笔记

发布于 2023-12-13 14:41:50

3250

发布于 2023-12-13 14:41:50

文章被收录于专栏：秋枫学习笔记秋枫学习笔记

关注我们，一起学习

简单汇总了一下LLM4Rec的最新进展，希望对大家有帮助，部分文章已经解读过，后续也会对其中的一些有趣的文章进行阅读。

标题：LLaRA: Aligning Large Language Models with Sequential Recommenders 地址：https://arxiv.org/pdf/2312.02445.pdf 代码：https://github.com/ljy0ustc/LLaRA 学校：中科大

顺序推荐旨在根据用户的历史互动预测与用户偏好匹配的后续item。随着大型语言模型（LLM）的发展，人们越来越有兴趣通过将LLM定义为一项语言建模任务来探索其用于顺序推荐的潜力。先前的工作使用ID索引或文本索引来表示文本提示中的item，并将提示输入LLM，但未能封装全面的世界知识或表现出足够的顺序理解。为了利用传统推荐器（对用户行为知识进行编码）和LLM（拥有项目的世界知识）的互补优势，我们提出了LLaRA——一个大型语言和推荐助手框架。具体而言，LLaRA使用一种新颖的混合方法来表示LLM的输入提示中的item，该方法将传统推荐方法的基于ID的item embedding与文本item特征相集成。将“用户的顺序行为”视为推荐中的一种新模式，我们使用适配器来弥合传统推荐系统的ID嵌入和LLM的输入空间之间的模式差距。此外，我们没有直接将混合提示暴露给LLM，而是应用课程学习方法来逐步提高培训的复杂性。我们首先使用纯文本提示来预热LLM，这与LLM的语言建模功能更加自然地一致。此后，我们逐步过渡到混合提示，训练适配器将传统顺序推荐器的行为知识纳入LLM。

标题：E4SRec: An Elegant Effective Efficient Extensible Solution of Large Language Models for Sequential Recommendation 地址：https://arxiv.org/pdf/2312.02443.pdf 代码：https://github.com/HestiaSky/E4SRec 学校，公司：清华，华为

大型语言模型（LLM）的最新进展引发了人们对在推荐系统中利用其潜力的兴趣。由于LLM是为自然语言任务设计的，现有的推荐方法主要将推荐任务转换为开放域自然语言生成任务。然而，这种方法需要项目拥有丰富的语义信息，经常产生超出范围的结果，并且效率明显较低，可扩展性有限。此外，基于ID的实用推荐策略依赖于大量的唯一身份（ID）来表示用户和项目，由于其有效性和效率，在现实世界的推荐系统中获得了突出地位。然而，当寻求利用LLM进行个性化推荐时，LLM无法对ID进行建模，这是一个巨大的挑战。在本文中，我们介绍了一种用于顺序推荐的大型语言模型的优雅高效可扩展解决方案（E4SRec），该解决方案将LLM与专门利用ID表示项目的传统推荐系统无缝集成。具体来说，E4SRec将ID序列作为输入，确保生成的输出位于候选列表中。此外，E4SRec具有在单个正向过程中生成整个排名列表的能力，并且只需要一组最小的可插入参数，这些参数是为每个数据集训练的，同时保持整个LLM冻结。我们通过在四个广泛使用的真实世界数据集上进行的综合实验，证实了我们提出的E4SRec的有效性、效率和可扩展性。

标题：ControlRec: Bridging the Semantic Gap between Language Model and Personalized Recommendation 地址：https://arxiv.org/pdf/2311.16441.pdf 学校，公司：中国科学院大学，美团

本文相关的文章ControlRec：对齐LLM和推荐系统之间的语义差异

将大型语言模型（LLM）成功集成到推荐系统中已被证明是最近研究的一个重大突破，为更通用和可转移的推荐铺平了道路。然而，LLM很难有效地利用用户和项目ID，这是成功推荐的关键标识符。这主要是因为它们在语义空间中的独特表示不同于通常用于训练LLM的自然语言（NL）。为了解决这个问题，我们引入了ControlRec，这是一个创新的推荐系统对比即时学习框架。ControlRec将用户ID和NL视为异类特征，并对它们进行单独编码。为了促进它们在语义空间中的更大对齐和集成，我们设计了两个辅助对比目标：（1）异构特征匹配（HFM）基于它们的交互序列将项目描述与相应的ID或用户的下一个首选ID对齐，（2）指令对比学习（ICL）通过对比不同任务生成的输出序列的概率分布，有效地融合了这两个关键数据源。在四个公共真实世界数据集上的实验结果证明了所提出的方法在提高模型性能方面的有效性。

标题：RecExplainer: Aligning Large Language Models for Recommendation Model Interpretability 地址：https://arxiv.org/pdf/2311.10947.pdf 学校，公司：中科大，微软

推荐系统广泛用于各种在线服务，基于嵌入的模型由于其在表示复杂信号方面的表现力而特别流行。然而，这些模型往往缺乏可解释性，这使得它们对用户和开发人员来说都不那么可靠和透明。随着大型语言模型（LLM）的出现，我们发现它们在语言表达、知识感知推理和指令遵循方面的能力异常强大。基于此，我们提出了一种新的推荐系统模型解释方法，使用LLM作为代理模型，学习模仿和理解目标推荐模型。具体来说，我们介绍了三种对齐方法：行为对齐、意图对齐和混合对齐。行为对齐在语言空间中操作，将用户偏好和项目信息表示为文本，以学习推荐模型的行为；意图对齐在推荐模型的潜在空间中工作，使用用户和项目表示来理解模型的行为；混合对齐将语言和潜在空间结合起来进行对齐训练。为了证明我们的方法的有效性，我们在三个公共数据集上从两个角度进行了评估：对齐效应和解释生成能力。实验结果表明，我们的方法有效地使LLM能够理解推荐模型的模式，并生成高度可信的推荐解释。