论文合集 | 图大模型推荐研究

转自 RUC AI Engine

内容作者：唐嘉凯，AI Engine Lab在读硕士二年级

编辑&排版：杨镐，AI Engine Lab在读博士二年级

大型语言模型（LLMs）已经彻底改变了自然语言处理任务，而其与图神经网络（GNN上）之间又会擦出怎样的火花呢？本文汇总了20篇与图大模型相关的论文（主要以推荐系统领域为主），展示最新的工作研究进展。

1.LLMRG: Improving Recommendations through Large Language Model Reasoning Graphs [AAAI '24]

推荐系统旨在为用户提供相关建议，但通常缺乏可解释性，并且未能捕捉到用户行为和偏好之间的更高级语义关系。本文提出了一种新颖的方法，利用大型语言模型（LLMs）构建个性化推理图。这些图通过因果推断和逻辑推理将用户的偏好和行为序列联系起来，以可解释的方式表示用户的兴趣。我们提出LLM推理图（LLMRG），主要包括四个组成部分：链式图推理、分支扩展、自我验证和评分以及知识库自我改进。生成的推理图使用图神经网络进行编码，作为额外的输入来改进传统的推荐系统，而不需要额外的用户或物品信息。我们的方法展示了LLMs如何通过个性化推理图实现更加逻辑和可解释的推荐系统。LLMRG使得推荐性能能够从工程化推荐系统和LLM推导的推理图中受益。

2. LLMRec: Large Language Models with Graph Augmentation for Recommendation [WSDM '24]

数据稀疏性一直是推荐系统中的一个挑战，先前的研究尝试通过整合辅助信息来解决这个问题。然而，这种方法经常引入诸如噪声、可用性问题和低数据质量等副作用，进而阻碍了对用户偏好的准确建模，并对推荐性能产生不利影响。鉴于大型语言模型（LLMs）最近的进展，它们拥有丰富的知识库和强大的推理能力，我们提出了一种新颖的框架，称为LLMRec，通过采用三种简单而有效的基于LLMs的图增强策略来增强推荐系统。我们的方法利用在线平台（例如Netflix、MovieLens）中丰富的内容以三种方式增强交互图：（i）加强用户-项目交互边，（ii）增强项目节点属性的理解，（iii）从自然语言的角度直观地进行用户节点剖析。通过采用这些策略，我们解决了推荐系统中稀疏隐式反馈和低质量边缘信息所带来的挑战。此外，为了确保增强的质量，我们开发了一种去噪数据鲁棒化机制，包括噪声隐式反馈修剪和基于MAE的特征增强技术，帮助改进增强数据并提高其可靠性。此外，我们提供了理论分析来支持LLMRec的有效性，并澄清了我们的方法在促进模型优化方面的好处。基准数据集上的实验结果表明，我们基于LLMs的增强方法优于最先进的技术。

3. LLM-Guided Multi-View Hypergraph Learning for Human-Centric Explainable Recommendation

随着个性化推荐系统在信息过载时代变得至关重要，仅依赖历史用户交互的传统方法往往无法充分捕捉人类兴趣的多面性。为了实现更具人性化的用户偏好建模，本文提出了一种新颖的可解释推荐框架，即LLMHG，将大型语言模型（LLMs）的推理能力与超图神经网络的结构优势相结合。通过有效地对个体用户兴趣的细微差别进行剖析和解释，我们的框架开创了提升推荐系统可解释性的新途径。我们验证了明确考虑人类偏好的复杂性允许我们的以人为中心和可解释的LLMHG方法在各种真实世界数据集上持续优于传统模型。所提出的即插即用增强框架在提高推荐性能的同时，为将先进的LLMs应用于更好地捕捉跨机器学习应用中的人类兴趣复杂性提供了一条途径。

4. Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations

大型语言模型（LLMs）已经彻底改变了自然语言处理任务，在各个领域展示了其卓越的能力。然而，它们在职位推荐中对行为图理解的潜力仍然大部分未被开发。本文着重揭示大型语言模型在理解行为图方面的能力，并利用这种理解来增强在线招聘中的推荐，包括促进OOD的应用。我们提出了一个新颖的框架，利用大型语言模型提供的丰富上下文信息和语义表示来分析行为图并揭示其中的潜在模式和关系。具体而言，我们提出了一个元路径提示构造器，利用LLM推荐器首次理解行为图，并设计了相应的路径增强模块，以减轻基于路径的序列输入引入的提示偏差。通过利用这种能力，我们的框架能够为个体用户提供个性化和准确的职位推荐。我们在一个全面的数据集上评估了我们方法的有效性，并展示了其提高推荐相关性和质量的能力。这项研究不仅揭示了大型语言模型尚未开发的潜力，而且为在招聘市场开发先进的推荐系统提供了宝贵的见解。这些发现对于自然语言处理领域的不断发展具有重要意义，并提供了增强求职体验的实际影响。

5. Variational Reasoning over Incomplete Knowledge Graphs for Conversational Recommendation [WSDM '23]

会话式推荐系统（CRSs）通常利用外部知识图谱（KGs）引入丰富的语义信息，并通过自然语言对话推荐相关项目。然而，现有CRSs中使用的原始KGs通常是不完整且稀疏的，这限制了推荐中的推理能力。此外，现有研究中只有少数利用对话上下文来动态地优化来自KGs的知识以实现更好的推荐。为了解决以上问题，我们提出了变分推理不完整KGs对话式推荐系统（VRICR）。我们的关键思想是将自然伴随CRSs的大型对话语料库结合起来，以增强不完整的KGs；并在对话上下文的条件下进行动态知识推理。具体而言，我们将KGs的对话特定子图表示为具有自适应知识图重构的分类先验的潜变量。我们提出了一种变分贝叶斯方法来近似对话特定子图的后验分布，这不仅利用对话语料库重构缺失实体关系，而且根据对话上下文动态选择知识。最后，我们将对话特定子图注入到推荐和回复中。我们在两个基准CRSs数据集上进行了实验，实验结果证实了我们提出的方法的有效性。

6. Explicit Knowledge Graph Reasoning for Conversational Recommendation [TIST '23]

传统的推荐系统纯粹基于历史交互记录来估计用户对物品的偏好，因此无法捕捉细粒度且动态的用户兴趣，并让用户只能被动地接收推荐。最近的会话式推荐系统（CRSs）通过使推荐系统与用户进行交互，通过一系列澄清问题来获取用户当前的偏好，从而解决了这些限制。尽管在CRSs方面取得了进展，但现有解决方案在以下两个方面仍然存在不足：1）当前的CRSs通常需要用户在达到最终推荐之前回答一定数量的澄清问题，这会影响用户体验；2）已明确提到的属性和物品之间存在语义差距。为了解决这些缺点，我们引入了知识图谱（KG）作为理解和推理用户偏好的辅助信息，并提出了一种新的CRS框架，即知识增强对话推理（KECR）系统。由于用户可以通过属性和物品级别的表达来反映自己的偏好，KECR通过将结构化知识嵌入KG来缩小两个级别之间的语义差距。同时，KECR利用KG内部的连通性来进行用户需求的显式推理，使模型不那么依赖用户对澄清问题的反馈。KECR可以找到突出的推理链来使推荐更具解释性和合理性，并使对话过程更加顺畅，从而提高用户体验和会话推荐的准确性。在两个真实世界数据集上进行的广泛实验证明了我们方法在自动评估和人类判断方面优于最先进的基线方法。

7. Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems [TNNLS '21]

会话式推荐系统（CRS）利用自然语言交互和对话历史来推断用户偏好并提供准确的推荐。由于对话上下文和背景知识的限制，现有的CRSs依赖外部来源（如知识图谱）来丰富上下文并基于实体之间的相互关系建模。然而，这些方法忽略了实体内部丰富的固有信息。为了解决这个问题，我们引入了知识增强实体表示学习（KERL）框架，该框架利用知识图谱和预训练语言模型来改善CRS中实体的语义理解。在我们的KERL框架中，实体文本描述通过预训练语言模型进行编码，而知识图谱帮助加强这些实体的表示。我们还使用位置编码来有效捕捉对话中实体的时间信息。增强的实体表示然后用于开发一个推荐组件，该组件融合了实体和上下文表示，以提供更具信息的推荐，以及一个对话组件，在响应文本中生成有关实体的信息。我们构建了一个高质量的知识图谱，其中实体描述对齐，以便促进我们的研究，即Wiki电影知识图谱（WikiMKG）。实验结果表明，KERL在推荐和响应生成任务中均实现了最先进的结果。

8. Personalized Audiobook Recommendations at Spotify Through Graph Neural Networks [WWW '24]

在不断发展的数字音频领域，以音乐和谈话内容而闻名的Spotify最近向其庞大的用户群引入了有声读物。尽管前景看好，但这一举措为个性化推荐带来了重大挑战。与音乐和播客不同，最初需要付费的有声读物不能在购买前轻易浏览，因此对推荐的相关性提出了更高的要求。此外，将新的内容类型引入现有平台面临着极端的数据稀疏问题，因为大多数用户对这种新内容类型不熟悉。最后，向数百万用户推荐内容要求模型能够快速反应并具有可扩展性。为了解决这些挑战，我们利用播客和音乐用户偏好，引入了2T-HGNN，这是一个包含异构图神经网络（HGNNs）和双塔（2T）模型的可扩展推荐系统。这种新颖的方法揭示了细微的项目关系，同时确保了低延迟和复杂性。我们将用户与HGNN图分离，并提出了一种创新的多链邻居采样器。这些选择，加上2T组件，显著降低了HGNN模型的复杂性。涉及数百万用户的实证评估显示，个性化推荐的质量显著提高，导致新有声读物开始率增加了46％，流量率提高了23％。有趣的是，我们模型的影响不仅局限于有声读物，还惠及了像播客这样的已建立产品。

9. An Interpretable Ensemble of Graph and Language Models for Improving Search Relevance in E-Commerce [WWW '24]

在电子商务领域中，搜索相关性的问题是一个具有挑战性的问题，因为它涉及理解用户简短微妙查询的意图，并将其与目录中的适当产品进行匹配。传统上，这个问题是通过使用语言模型（LMs）和图神经网络（GNNs）来解决的，分别捕捉语义和产品间行为信号。然而，新架构的快速发展导致了研究与这些技术的实际应用之间的鸿沟。评估这些模型在部署中的泛化能力需要对复杂的真实世界数据集进行大量实验，这可能是不容易的和昂贵的。此外，这种模型通常在人类难以理解的潜在空间表示上运行，这使得评估和比较不同模型的有效性变得困难。这种缺乏可解释性阻碍了该领域新技术的发展和应用。为了弥合这一差距，我们提出了Plug and Play Graph LAnguage Model（PP-GLAM），这是一个可解释的插入式模型集成。我们的方法采用了一个模块化框架，具有统一的数据处理管道。它使用增加的解释度指标来独立决定是否包含（i）语言模型候选、（ii）GNN模型候选和（iii）产品间行为信号。对于搜索相关性的任务，我们展示了PP-GLAM在真实的多语言、多地区电子商务数据集上优于几个最先进的基线模型以及专有模型。为了促进更好的模型可理解性和采用，我们还提供了对我们模型的解释性和计算复杂性的分析。我们还提供了公开的代码库，并提供了一个实际实施的部署策略。

10. Integrating Large Language Models with Graphical Session-Based Recommendation

随着大型语言模型（LLMs）的快速发展，各种探索已经出现，以利用LLMs对上下文理解的能力在推荐系统中的应用。尽管开创性的策略主要是将传统的推荐任务转化为自然语言生成的挑战，但由于其特殊性，对于基于会话的推荐（SBR）领域的探索相对较少。SBR主要由图神经网络主导，由于其捕捉相邻行为之间的隐式和显式关系的能力，已经取得了许多成功的结果。图的结构性质与自然语言的本质形成对比，为LLMs提供了显著的适应差距。在本文中，我们介绍了一种名为LLMGR的大型语言模型与图形会话推荐相结合的有效框架，通过和谐地集成LLMs和图神经网络（GNNs）来弥合上述差距，用于SBR任务。这种集成旨在利用LLMs在自然语言理解方面和GNNs在关系数据处理方面的互补优势，从而构建一个更强大的基于会话的推荐系统，该系统能够理解和推荐会话内的项目。此外，为了赋予LLMs赋予强大的SBR任务能力，我们设计了一系列用于辅助和主要指令调整任务的提示。这些提示被精心设计，以帮助LLMs理解图结构化数据，并将文本信息与节点对齐，有效地将微妙的用户交互转化为LLMs架构可理解和利用的格式。在三个真实世界数据集上进行的大量实验表明，LLMGR优于几种竞争基线方法，表明其在增强SBR任务方面的有效性以及作为未来探索研究方向的潜力。

11. Breaking the Barrier: Utilizing Large Language Models for Industrial Recommendation Systems through an Inferential Knowledge Graph

推荐系统被广泛应用于电子商务网站和在线平台，以解决信息过载问题。然而，现有系统主要依赖于历史数据和用户反馈，难以捕捉用户意图的转变。最近，基于知识库（KB）的模型被提出来融合专家知识，但它很难适应新的物品和不断发展的电子商务环境。为了解决这些挑战，我们提出了一种新颖的基于大型语言模型的补充知识增强推荐系统（LLM-KERec）。它引入了一个实体提取器，从物品和用户信息中提取统一的概念术语。为了提供经济高效且可靠的先验知识，基于实体流行度和特定策略生成实体对。大型语言模型确定每个实体对中的补充关系，构建补充知识图。此外，一个新的补充召回模块和一个实体-实体-物品（E-E-I）权重决策模型利用真实的补充曝光-点击样本，改进了排名模型的评分。在三个行业数据集上进行的大量实验表明，我们的模型相比现有方法有显著的性能提升。此外，详细的分析表明，LLM-KERec通过推荐补充物品增强了用户对消费的热情。总之，LLM-KERec通过整合补充知识并利用大型语言模型捕捉用户意图的转变，适应新的物品，并提高在不断发展的电子商务环境中的推荐效率，解决了传统推荐系统的局限性。

12. Large Language Model with Graph Convolution for Recommendation

近年来，人们开始利用文本信息来更好地进行用户画像和物品特征化的推荐。然而，文本信息有时可能质量较低，从而影响其在实际应用中的有效性。随着大型语言模型（LLMs）中封装的知识和推理能力的发展，利用LLMs成为改进描述的一种有前景的方法。然而，现有的用原始文本提示LLMs的方法忽略了用户-物品交互的结构化知识，这可能导致生成描述不一致等幻觉问题。因此，我们提出了一种图感知卷积LLM方法，以激发LLMs捕捉用户-物品图中的高阶关系。为了使基于文本的LLMs适应结构化图，我们将LLM作为图处理中的聚合器，使其逐步理解基于图的信息。具体而言，LLM通过逐层探索多跳邻居来进行描述增强，从而逐渐在图中传播信息。为了使LLMs能够捕获大规模的图信息，我们将描述任务分解为较小的部分，这样可以在每个步骤中大大减少令牌输入的上下文长度。对三个真实世界数据集的大量实验证明，我们的方法始终优于最先进的方法。

13. Can GNN be Good Adapter for LLMs? [WWW'24]

最近，大型语言模型（LLMs）在理解和zero-shot学习文本数据方面表现出了卓越的能力，为许多与文本相关的领域带来了显著的进展。在图领域，各种现实世界的场景也涉及文本数据，其中任务和节点特征可以由文本描述。这些文本属性图（TAGs）在社交媒体、推荐系统等领域具有广泛的应用。因此，本文探讨了如何利用LLMs来建模TAGs。以往的TAG建模方法基于百万级别的LMs。当扩展到十亿级别的LLMs时，它们面临着巨大的计算成本挑战。此外，它们还忽略了LLMs的zero-shot推理能力。因此，我们提出了GraphAdapter，它使用图神经网络（GNN）作为有效的适配器与LLMs合作来处理TAGs。在效率方面，GNN适配器引入了少量可训练参数，并且可以以低计算成本进行训练。整个框架使用节点文本的自回归（下一个标记预测）进行训练。一旦训练完成，GraphAdapter可以轻松地通过任务特定提示进行微调，以适用于各种下游任务。通过对多个真实世界TAG的广泛实验，基于Llama 2的GraphAdapter在节点分类方面平均提高了约5%。此外，GraphAdapter还可以适应其他语言模型，包括RoBERTa、GPT-2等。这些有希望的结果表明，在TAG建模中，GNN可以作为LLMs的有效适配器。

14. Exploring the Potential of Large Language Models (LLMs)in Learning on Graphs [KDD '23]

图上学习已经引起了巨大的关注，因为它在现实世界中有广泛的应用。用于处理具有文本节点属性的图形学习的最流行的流程主要依赖于图神经网络（GNNs），并利用浅层文本嵌入作为初始节点表示，但这种方法在通用知识和深层语义理解方面存在局限性。近年来，已经证明大型语言模型（LLMs）具有广泛的通用知识和强大的语义理解能力，已经革命性地改变了现有的工作流程来处理文本数据。在本文中，我们旨在探索LLMs在图机器学习中的潜力，特别是节点分类任务，并调查两种可能的流程：LLMs作为增强器和LLMs作为预测器。前者利用LLMs来增强节点的文本属性，然后通过GNNs生成预测。后者试图直接将LLMs作为独立的预测器使用。我们在各种设置下对这两种流程进行了全面系统的研究。通过全面的实证结果，我们进行了原始观察，并发现了新的见解，为利用LLMs进行图形学习提供了新的可能性，并提出了有希望的方向。

15. Graph Neural Prompting with Large Language Models

大型语言模型（LLMs）在各种语言建模任务中表现出了非凡的泛化能力。然而，它们在准确捕获和返回基础知识方面仍然存在固有的局限性。尽管现有的工作已经探索了利用知识图（KGs）通过联合训练和定制模型架构来增强语言建模，但是由于LLMs的参数数量庞大和计算成本高，将这一方法应用于LLMs是有问题的。因此，如何利用基础知识来增强预训练的LLMs，例如检索增强生成，仍然是一个开放的问题。在这项工作中，我们提出了图神经提示（GNP），这是一种新颖的即插即用方法，可以帮助预训练的LLMs从知识图中学习有益的知识。GNP包括各种设计，包括标准的图神经网络编码器、跨模态汇集模块、领域投影器和自监督链接预测目标。对多个数据集进行的大量实验表明，GNP在不同尺寸和设置的LLMs上在常识和生物医学推理任务上均表现优越。

16. GraphGPT: Graph Instruction Tuning for Large Language Models [SIGIR '24]

图神经网络（GNNs）通过节点之间的递归交换和聚合来理解图结构已经发展成熟。为了增强鲁棒性，自监督学习（SSL）已经成为数据增强的重要工具。传统方法通常依赖于使用任务特定标签进行微调，这在标记数据稀缺时限制了它们的有效性。我们的研究通过在零样本学习环境中推进图模型泛化能力来解决这一问题。受大型语言模型（LLMs）成功的启发，我们旨在创建一个面向图的LLM，能够在各种数据集和任务中具有异常的泛化能力，而无需依赖下游图数据。我们引入了GraphGPT框架，通过图指令调整将LLMs与图结构知识相结合。该框架包括一个文本-图对齐组件，用于连接文本和图结构，并采用轻量级图-文本对齐投影器的双阶段指令调整方法。这些创新使LLMs能够理解复杂的图结构，并增强在各种数据集和任务中的适应性。我们的框架在监督和零样本图学习任务中展现了出色的泛化能力，超过了现有的基准。

17. InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment

在当前的大型语言模型（LLMs）是否更好地解决图推理和生成任务并不清楚。在本文中，我们提出了InstructGraph，这是一个框架，通过指导调整和偏好对齐，赋予LLMs图推理和生成的能力。具体而言，我们首先提出了一种结构化格式的口头化器，将所有图数据统一成一种通用的类似代码的格式，可以简单地表示图而不需要任何外部的特定于图的编码器。此外，引入了一个图指导调整阶段，指导LLMs解决图推理和生成任务。最后，我们确定了图任务中潜在的幻觉问题，并对负实例进行采样以进行偏好对齐，其目标是增强模型输出的可靠性。跨多个图中心任务的大量实验表明，InstructGraph能够实现最佳性能，并分别超过GPT-4和LLaMA2超过13%和38%。

18. Knowledge Graph Prompting for Multi-Document Question Answering [AAAI '24]

大型语言模型（LLMs）在开放领域问答（OD-QA）中的“预训练、提示、预测”范式取得了显著成功。然而，在多文档问答（MD-QA）场景中，很少有工作探索这种范式，MD-QA任务需要对不同文档的内容和结构之间的逻辑关联进行彻底理解。为了填补这一重要差距，我们提出了一种知识图提示（KGP）方法，用于在MD-QA中为LLMs提供正确的上下文，其中包括图构建模块和图遍历模块。对于图构建，我们使用节点表示多个文档中的段落或文档结构（例如，页面/表格），使用边表示段落之间的语义/词汇相似性或文档内部结构关系。对于图遍历，我们设计了一个基于LLMs的图遍历代理，它在节点之间进行导航，并收集支持LLMs在MD-QA中的段落。构建的图充当全局规则，调节段落之间的过渡空间，并减少检索延迟。同时，图遍历代理充当本地导航器，收集相关上下文逐步接近问题，并保证检索质量。大量实验强调了KGP在MD-QA中的有效性，表明利用图形增强LLMs的提示设计的潜力。

19. OpenGraph: Towards Open Graph Foundation Models

图学习已经成为解释和利用各个领域中的关系数据的不可或缺的工具，范围从推荐系统到社交网络分析。在这种背景下，各种图神经网络（GNNs）作为一种有效编码图结构信息的方法已经出现。通过有效地捕获图的潜在结构，这些GNNs在增强图学习任务的性能方面显示出巨大潜力，例如链接预测和节点分类。然而，尽管它们取得了成功，但一个重要的挑战仍然存在：这些先进的方法通常面临着泛化到未见过的图数据的困难，这些数据与训练实例显著不同。在这项工作中，我们的目标是通过开发一个通用的图基础模型来推进图学习范式。这个模型旨在理解不同图数据中存在的复杂拓扑模式，使其能够在不同的下游数据集上在零样本图学习任务中表现出色。为了实现这一目标，在我们的OpenGraph模型中解决了几个关键技术挑战。首先，我们提出了一个统一的图标记器，以适应我们的图模型在未见的图数据上良好泛化，即使底层图属性与训练过程中遇到的图属性显著不同。其次，我们开发了一个可扩展的图变换器作为基础编码器，它有效地捕获了全局拓扑背景下的节点依赖关系。第三，我们引入了一个由LLM增强的数据增强机制，以减轻现实场景中数据稀缺的限制。大量实验证实了我们框架的有效性。通过使我们的OpenGraph适应新的图特征并理解各种图的细微差别，我们的方法在各种设置和领域中实现了显著的零样本图学习性能。

20. GraphPro: Graph Pre-training and Prompt Learning for Recommendation [WWW '24]

基于图神经网络（GNN）的推荐系统在建模复杂的用户-物品交互方面表现出色，通过多跳消息传递实现。然而，现有方法往往忽视了不断发展的用户-物品交互的动态性，这妨碍了对变化中的用户偏好和新到达数据中分布转移的适应。因此，它们在真实世界动态环境中的可扩展性和性能受到限制。在这项研究中，我们提出了GraphPro，一个结合了参数高效和动态图预训练与提示学习的框架。这种新颖的组合赋予了GNNs有效捕捉长期用户偏好和短期行为动态的能力，从而实现准确及时的推荐。我们的GraphPro框架通过将时间提示机制和图结构提示学习机制无缝集成到预训练的GNN模型中，解决了不断变化的用户偏好的挑战。时间提示机制编码了用户-物品交互的时间信息，使模型能够自然地捕捉时间上下文，而图结构提示学习机制则使预训练知识能够适应行为动态，无需进行持续的增量训练。我们进一步引入了一个动态评估设置，以模拟真实世界的动态情景，并将离线-在线之间的差距缩小到更好的水平。我们的大量实验证明，包括大规模的工业部署，在与各种最先进的推荐系统集成时，我们的GraphPro具有轻量级插件可扩展性，强调了GraphPro在效果、鲁棒性和效率方面的优势。