ACL/NAACL'22 推荐系统论文梳理
ACL 2022已公布录用论文:
https://www.2022.aclweb.org/papers
NAACL 2022已公布录用论文:
https://2022.naacl.org/program/accepted_papers/
本文对ACL/NAACL'22推荐系统相关论文进行梳理，有新任务新数据集，刷榜必备；有搞笑版：一石二鸟统一召回和排序模型；有多任务学习，有利用正负反馈信息去噪，有会话推荐和预训练语言模型。由于论文数量较少且方向分散，分类标注在单篇中，不再整体汇总。
1. 系列导读
2022推荐系统论文梳理系列文章
- 推荐系统相关顶会整理
- IJCAI'22 推荐系统论文梳理
- ICML/ICLR'22 推荐系统论文梳理
- WWW'22 推荐系统论文之序列推荐篇
- WWW'22 推荐系统论文之多任务与对比学习篇
- WWW'22 推荐系统论文之图神经网络篇
2. ACL2022推荐系统论文
2.1【ACL'22 Long Paper】Doctor Recommendation in Online Health Forums via Expertise Learning
论文链接: https://aclanthology.org/2022.acl-long.79.pdf
代码链接:
https://github.com/polyusmart/Doctor-Recommendation
论文机构: 香港理工、南大
论文分类: 新数据集、医生推荐、隐私推荐、自学习、多头注意力
论文总结: 在线健康论坛上每天都会产生大量的患者查询请求，这使得人工分配医生成为一项劳动密集型任务。为了更好地帮助患者，本文研究了一项新的医生推荐任务，以实现患者与具有相关专业知识的医生的自动配对。大多数先前的推荐工作都侧重于根据目标用户的历史行为对目标用户进行建模，但出于隐私原因，只能依靠患者查询中的有限词来推断患者的需求。作者研究了医生的个人资料和他们之前与其他患者的对话，并通过自学习探索他们的互动，以对医生进行建模。通过使用多头注意力机制 (multi-head attention mechanism)，学习到的医生embeddings被进一步用于估计他们处理患者查询的能力。作者从中国在线健康论坛春雨医生收集了一个大规模数据集，本文的模型仅考虑医生的个人资料和历史对话来表征医生，展示了最先进的结果。
它包含三个模块：一个从queries中编码患者需求的查询编码器 (query encoder)，一个从个人资料和对话中编码医生专业知识的医生编码器 (doctor encoder)，以及一个将上述输出耦合以进行推荐预测的预测层 (prediction layer)。
2.2【ACL'22 Long Paper】QuoteR: A Benchmark of Quote Recommendation for Writing
论文链接:
https://aclanthology.org/2022.acl-long.27.pdf
代码链接: https://github.com/thunlp/QuoteR
论文机构: 清华
论文分类: 新数据集、引用推荐
论文总结: 使用引用 (quotes)来使我们的作品更加优雅或令人信服是很常见的。为了帮助人们有效地找到合适的引用，提出了引用推荐的任务，旨在推荐适合当前写作环境的引用。有各种引用推荐方法，但它们是在不同的未发布数据集上进行评估的。为便于对这一任务的研究，本文构建了一个名为 QuoteR 的大型且完全开放的引用推荐数据集，该数据集由英文、标准中文和文言文三个部分组成。它的任何部分都比以前未发表的对应物大。作者对 QuoteR 上现有的引用推荐方法进行了广泛的评估。此外，本文提出了一个新的引用推荐模型，该模型在 QuoteR 的所有三个部分上都显著优于以前的方法。
2.3【ACL'22 Findings Long Paper】MINER: Multi-Interest Matching Network for News Recommendation
论文链接:
https://aclanthology.org/2022.findings-acl.29/
论文机构: 华为、人大
论文分类: 新闻推荐、用户多兴趣
论文总结: 个性化新闻推荐是帮助用户找到感兴趣的新闻的重要技术，准确匹配用户兴趣和候选新闻是新闻推荐的关键。大多数现有方法从用户的历史行为中学习单个用户embedding来表示阅读兴趣。然而，用户兴趣通常是多种多样的，可能无法通过单个用户embedding来充分建模。在本文中，作者提出了一种多注意力方案 (poly attention scheme)来学习每个用户的多个兴趣向量，该向量对用户兴趣的不同方面进行编码。作者进一步提出了一种分歧正则化 (disagreement regularization)，以使学习到的兴趣向量更加多样化。此外，作者设计了一种类别感知注意力加权策略 (category-aware attention weighting strategy)，将新闻类别信息作为显式兴趣信号纳入注意力机制。MIND 新闻推荐基准上的大量实验表明，本文提出的方法明显优于现有的最先进方法。
MINER 的整体框架，由新闻编码器、多兴趣用户建模模块和点击分数预测器组成。分歧正则化的引入，使多重兴趣表示更加多样化；类别感知注意力加权用于根据类别与候选新闻的相似性重新加权历史新闻。
2.4【ACL'22 Findings Short Paper】MTRec: Multi-Task Learning over BERT for News Recommendation
论文链接:
https://aclanthology.org/2022.findings-acl.209.pdf
论文机构: 人大、华为
论文分类: 新闻推荐、多任务学习
论文总结: 现有的新闻推荐方法通常仅根据新闻标题来学习新闻表示。为了充分利用新闻信息的其他领域，如类别和实体，一些方法将每个领域视为一个附加特征，并将不同的特征向量与注意力池化相结合。随着在新闻推荐中采用 BERT 等大型预训练模型，上述融合多字段信息的方式可能会遇到挑战：用于压缩类别和实体信息的浅层特征编码与深度 BERT 编码不兼容。在本文中，作者提出了一种多任务学习框架，将多字段信息整合到 BERT 中，从而提高了其新闻编码能力。此外，作者根据它们的梯度冲突来修改不同任务的梯度，这进一步提高了模型的性能。MIND 新闻推荐基准上的大量实验表明了本文方法的有效性。
MTRec的总体框架。作者使用 BERT 作为新闻编码器，使用附加注意力作为用户编码器。除了新闻推荐的主要任务外，本文还设计了两个辅助任务（即类别分类和NER）来进一步整合类别和实体信息。
2.5【ACL'22 Findings Short Paper】Two Birds with One Stone: Unified Model Learning for Both Recall and Ranking in News Recommendation
论文链接:
https://aclanthology.org/2022.findings-acl.274/
论文机构: 清华、微软亚研
论文分类: 新闻推荐、召回排序统一模型
论文总结: 召回和排序是个性化新闻推荐的两个关键步骤，大多数现有的新闻推荐系统使用不同的模型分别进行个性化的新闻召回和排序。然而，维护多个模型会导致高计算成本，并对满足新闻推荐系统的在线延迟要求提出了巨大挑战。
为了解决这个问题，本文提出了一种名为 UniRec 的新闻推荐方法，该方法可以学习统一的用户模型，用于个性化新闻召回和排序。在该方法中，作者首先使用新闻编码器将新闻编码为embedding，并从历史点击新闻的embedding中学习用户embedding以进行排序。作者通过使用用于排序的用户embedding作为注意力query来进一步推导出用于召回的用户embedding，以选择一组基础用户embedding，这些embedding对不同的一般用户兴趣方面进行编码，并将它们合成为用于召回的用户embedding。在测试阶段，作者只使用具有最高注意力权重的基础用户embedding来组成用户embedding以进行召回，以过滤嘈杂的用户兴趣。在真实世界数据集上的大量实验表明，本文的方法可以使用统一的模型进行个性化的新闻召回和排序，同时实现良好性能。
√
3. NAACL2022推荐系统论文
3.1【NAACL'22 Long Paper】GRAM: Fast Fine-tuning of Pre-trained Language Models for Content-based Collaborative Filtering
论文链接:
https://openreview.net/pdf?id=BqxBko-HZq
代码链接:
https://github.com/yoonseok312/GRAM
论文机构: Riiid AI Research
论文分类: 协同过滤、效率优化
论文总结: 基于内容的协同过滤（CCF）基于用户的交互历史和项目的内容信息来预测用户与项目的交互。最近，预训练语言模型 (PLM) 已被用于为 CCF 提取高质量的项目编码。然而，以端到端 (E2E) 方式训练基于 PLM 的 CCF 模型是资源密集型的，因为优化涉及在给定用户交互序列中通过每个内容编码进行反向传播。为了解决这个问题，本文提出了 GRAM（CCF 中多模态的梯度累积），它利用了给定项目在一批交互历史中经常出现多次的事实。具体来说，Single-step GRAM 聚合每个项目编码的梯度以进行反向传播，理论上等效于标准 E2E 训练。作为单步 GRAM 的扩展，作者提出了多步 GRAM，它增加了梯度更新延迟，在显著减少 GPU 内存的情况下实现了进一步加速。GRAM 在知识追踪和新闻推荐两个任务领域的五个数据集上显着提高了训练效率（高达 146 倍）。
论文的贡献如下：
• 提出了 GRAM（单步和多步），它通过累积冗余项目编码的梯度来加速 CCF 的训练。
• 凭经验表明，与 E2E 训练相比，GRAM，尤其是多步 GRAM，显著减少了 GPU 内存占用。
• 在新闻推荐和知识追踪这两个任务领域的 5 个真实世界数据集的各种设置中评估 GRAM。
3.2【NAACL'22 Findings】Denoising Neural Network for News Recommendation with Positive and Negative Implicit Feedback
论文链接: https://arxiv.org/abs/2204.04397
论文机构: 圣克拉拉大学、腾讯
论文分类: 新闻推荐、正负反馈、去噪
论文总结: 新闻推荐不同于电影或电子商务推荐，因为人们通常不会对新闻进行评分。因此，用户对新闻的反馈总是隐含的（点击行为、阅读时间等）。不可避免地，隐式反馈中存在噪声。一方面，用户可能因为不喜欢新闻内容而在点击新闻后立即退出，在其积极的隐式反馈中留下噪音；另一方面，用户可能会同时被推荐多个有趣的新闻，并且只点击其中一个，从而在他的负面隐式反馈中产生噪音。相反的隐式反馈可以构建更综合的用户偏好，并相互帮助将噪声影响降至最低。以前的新闻推荐工作仅使用正隐式反馈，并且受到噪声影响。在本文中，作者提出了一种用于具有正负隐式反馈的新闻推荐的去噪神经网络，称为 DRPN。DRPN 利用两个反馈进行推荐，并通过一个模块对正负隐式反馈进行去噪，以进一步提高性能。在真实世界大规模数据集上的实验证明了 DRPN 的最新性能。
3.3【NAACL'22 Findings】Improving Conversational Recommendation Systems’ Quality with Context-Aware Item Meta-Information
论文链接: https://arxiv.org/pdf/2112.08140
代码链接: https://github.com/by2299/MESE
论文机构: 哥伦比亚大学、加州大学戴维斯分校
论文分类: 会话推荐、预训练语言模型
论文总结: 会话推荐系统 (Conversational recommendation systems，CRS) 通过从对话历史中推断用户偏好、提供准确的推荐并生成适当的响应来与用户互动。以前的会话推荐系统使用基于知识图谱 (KG) 的推荐模块，并将知识图谱与语言模型集成以生成响应。尽管基于知识图谱的方法被证明是有效的，但仍有两个问题有待解决。首先，基于知识图谱的方法忽略了会话上下文中的信息，而仅依靠实体关系和词袋来推荐项目；其次，它需要大量的工程努力来维护对特定领域关系建模的知识图谱，从而导致灵活性降低。在本文中，作者提出了一种简单而有效的架构，包括预训练语言模型 (PLM) 和项目元数据编码器。编码器学习将项目元数据映射到可以反映对话上下文中语义信息的embeddings。然后，预训练语言模型将语义对齐的项目embeddings与对话上下文一起使用，以生成高质量的推荐和响应。该模型不是使用知识图谱对实体关系进行建模，而是通过将每个项目直接转换为embedding来降低工程复杂性。在基准数据集 REDIAL 上的实验结果表明，本文的模型在推荐和响应生成任务上都获得了最先进的结果。