每日论文速递 | 通过Token-level的Feedback进行强化学习控制文本生成

深度学习自然语言处理 分享 整理：pp

摘要：为了满足实际应用的要求，控制大型语言模型（LLM）的生成至关重要。之前的研究试图将强化学习（RL）引入可控文本生成，而大多数现有方法都存在过拟合问题（基于微调的方法）或语义崩溃（后处理方法）。然而，目前的强化学习方法一般由粗粒度（句子/段落级）反馈指导，这可能会由于句子内部的语义扭曲或进展而导致性能不佳。为了解决这个问题，我们提出了一种名为 TOLE 的新型强化学习算法，它为可控文本生成制定了 TOken-LEvel 奖励，并采用 "first-quantize-then-noise" "先量化后噪声 "的范式来增强 RL 算法的鲁棒性。实验结果表明，我们的算法在单属性和多属性控制任务上都能取得优异的性能。

https://arxiv.org/abs/2403.11558

Q1: 这篇论文试图解决什么问题？

A：这篇论文试图解决的问题是如何在现实世界的应用中控制大型语言模型（LLMs）的生成结果，以满足特定的属性要求。具体来说，论文关注的问题包括：

1. 提高生成文本的可控性：在实际应用中，往往需要生成具有特定属性（如正面情感、正式性等）的文本，或者减少预训练语言模型的内在缺陷（如毒性、重复性等）。
2. 解决现有方法的局限性：现有的基于强化学习（RL）的可控文本生成方法通常使用粗粒度（句子/段落级别）的反馈，这可能导致性能次优和收敛速度慢，因为句子内的语义往往随着句子的进展而发生变化。
3. 提出新的算法：为了解决上述问题，论文提出了一种新的强化学习算法，名为TOLE（Token-level Rewards for Controllable Text Generation），该算法通过在token级别提供反馈来指导语言模型，以实现更精细的控制。
4. 增强算法的鲁棒性：通过引入“先量化后加噪”（First quantize-then-noise）的探索框架，提高算法的鲁棒性，避免模型过度拟合评分器的固定评分模式。
5. 扩展到多属性控制：论文还探讨了如何将单属性的强化学习算法扩展到多属性控制场景，这在现有的研究中尚未得到充分探索。

总的来说，论文旨在通过更细粒度的反馈和鲁棒的算法设计，提高可控文本生成的性能，同时减少训练步骤和计算开销，使其更适用于实际应用场景。

Q2: 有哪些相关研究？

A：这篇论文中提到的相关研究主要围绕可控文本生成（CTG）的三个主要方法：重训练（Retraining）、微调（Fine-tuning）、后处理（Post-processing），以及如何将强化学习（RL）应用于CTG任务。下面是这些方法的具体相关研究：

1. 重训练方法：
   • Keskar et al. (2019) 和 Chan et al. (2021) 研究了如何通过在特定属性的数据集上训练模型来增强生成文本的特定属性。
2. 微调方法：
   • Huang et al. (2023); Yang et al. (2023a); Zhang and Song (2022) 探讨了如何通过微调语言模型来控制文本生成的特定方面，例如通过使用连续提示（prefix-tuning）或其他参数高效训练策略。
3. 后处理方法：
   • Krause et al. (2021); Yang and Klein (2021); Liu et al. (2021) 利用小型判别器来调整token分布，从而在不重新训练整个模型的情况下控制文本的属性。
4. 强化学习在CTG中的应用：
   • Li et al. (2022); Gu et al. (2022b, 2023) 引入了除RL之外的其他算法骨干，例如扩散模型、归一化流等，但这些方法通常在训练期间计算成本较高，推理时间较长，难以在实际应用中部署。
5. 多属性可控文本生成：
   • Lin and Riedl (2021); Kumar et al. (2021) 等研究了如何结合多个属性判别器来聚合控制能力，但这些方法也继承了后处理方法的缺点，因为它们直接通过分布调节来实现。
6. Token级反馈的RL研究：
   • Chen et al. (2021); Janner et al. (2021); Zheng et al. (2022); Xu et al. (2023) 等研究尝试将RL技术融入变换器结构中，尝试将粗粒度的奖励分解到token级别以进行序列建模。
7. RL算法的改进：
   • Wu et al. (2023); Yang et al. (2023b) 等研究了如何处理粗粒度反馈的问题，特别是在大型语言模型对齐（LLM alignment）的RLHF（reinforcement learning from human feedback）算法中。

这些相关研究表明，尽管已有多种方法尝试解决可控文本生成的问题，但仍存在效率低下、容易过拟合、文本质量下降等问题。论文提出的TOLE算法旨在通过token级别的精细反馈和鲁棒的算法设计来克服这些挑战。

Q3: 论文如何解决这个问题？

A：论文提出了一种名为TOLE（Token-level Rewards for Controllable Text Generation）的新型强化学习算法来解决可控文本生成的问题。TOLE算法的关键特点和解决策略如下：

1. Token-level Rewards：TOLE算法通过在token级别提供奖励来指导语言模型，这种细粒度的反馈可以更精确地引导模型生成符合特定属性要求的文本。与传统的基于句子或段落级别的反馈相比，token级别的奖励能够更好地捕捉句子内部的语义变化。
2. 先量化后加噪（First Quantize-then-Noise）：为了增强算法的鲁棒性，TOLE采用了一种探索框架，首先对奖励进行量化处理，然后在量化的基础上加入噪声。这种方法旨在避免模型过度拟合评分器的固定评分模式，同时保持对目标属性的引导。
3. 多属性控制：TOLE算法可以灵活地扩展到多属性控制任务，通过引入一个小型的“weigher”模块来平衡不同属性判别器的奖励。这种方法允许算法同时考虑多个属性，而不会出现属性之间的矛盾。
4. 算法概述：
   • 初始化（Initialization）：设置策略模型、参考模型、属性评分器和数据池。
   • 探索（Exploration）：基于当前策略模型生成文本，并计算每个生成token的奖励。
   • 量化与加噪（Quantize & Noise）：对数据池中的奖励进行量化，并加入噪声以避免过度拟合。
   • 学习（Learning）：使用量化和加噪后的奖励来更新模型，同时通过最大熵梯度和KL散度惩罚来保持模型的多样性和与原始模型的一致性。
5. 实验验证：论文通过在单属性（如情感控制和去毒化）和多属性控制任务上的实验，证明了TOLE算法在提高属性正确性、生成文本质量以及减少训练步骤方面的有效性。

总体而言，TOLE算法通过引入token级别的精细反馈和鲁棒的算法设计，有效地提高了可控文本生成的性能，并减少了计算成本，使其更适用于实际应用场景。

Q4: 论文做了哪些实验？

A：论文中进行了一系列实验来验证TOLE算法在可控文本生成任务中的有效性。以下是实验的主要内容：

1. 情感控制（Sentiment Control）：
   • 使用OpenWebText Corpus中的自然发生的提示作为实验数据集，分为中性、负面和正面情感的提示。
   • 使用GPT2-large作为基础语言模型，并采用提示技术而不是微调整个模型。
   • 通过一个基于GPT2-base的训练有素的情感分类器来评估生成文本的情感极性。
   • 与多种基线方法进行比较，包括后处理方法（PPLM、GEDI、FUDGE）和微调方法（Prompt-tuning、DisCup）以及RL方法（PPO、QUARK）。
   • 通过自动评估（如生成质量、多样性等指标）和人工评估（情感正确性、主题相关性、流畅性）来评估模型性能。
2. 去毒化（Detoxification）：
   • 使用Toxicity Classification Kaggle挑战数据集训练分类器，并使用REALTOXICITYPROMPTS数据集作为实验语料。
   • 使用GPT2-large模型，并采用与情感控制实验相同的提示技术。
   • 通过Perspective API评估生成文本的毒性，并使用困惑度（PPL）和平均独特性（dist-3）来衡量文本质量。
   • 同样与多种基线方法进行比较，并进行人工评估。
3. 多属性控制（Multiple Attribute Controlling）：
   • 使用Yelp数据集进行实验，该数据集包含带有情感（正面和负面）和主题（美国、墨西哥、亚洲）标签的餐厅评论。
   • 引入时间（过去和现在）作为第三个属性，并使用RoBERTa-based分类器进行评估。
   • 报告生成文本的困惑度（PPL）和平均独特性（dist-3）以展示文本的流畅性和多样性。
   • 与包括GEDI、DIST. LENS、TAILOR、PROMPT-GATING在内的多种基线方法进行比较，并进行人工评估。
4. 进一步研究：
   • 分析了“量化”和“加噪”对模型性能的影响。
   • 探讨了在多属性控制中不使用“weigher”模块而采用平均奖励的影响。
   • 比较了token级反馈与句子级反馈在训练步骤上的收敛速度。
   • 研究了量化中q-quantile的数量对性能的影响。
   • 考察了KL散度和熵项的超参数系数α和β对性能的影响。

这些实验不仅展示了TOLE算法在不同任务上的性能，还通过与多种先进方法的比较，证明了其在可控文本生成领域的优越性和实用性。

Q5: 有什么可以进一步探索的点？

A：尽管论文提出的TOLE算法在可控文本生成方面取得了显著的成果，但仍有一些方面可以进行进一步的探索：

1. 算法泛化能力：虽然TOLE在特定数据集和任务上表现良好，但其在不同类型的语言模型或其他NLP任务上的泛化能力尚需进一步验证。
2. 奖励设计：论文中提到了奖励黑客（reward hacking）的问题，即模型可能会找到评分器的无意捷径。探索更复杂的奖励设计或正则化技术以防止模型利用这些捷径，是一个重要的研究方向。
3. 多语言和跨领域应用：研究TOLE算法在不同语言和跨领域文本生成任务中的应用，以及如何适应不同的文化和领域特定语境。
4. 实时应用和可扩展性：论文中的实验是在受控的实验环境中进行的。研究如何将TOLE算法部署到实时系统中，并确保其在大规模应用中的可扩展性和效率。
5. 长期训练的影响：探索长期训练对模型性能和稳定性的影响，以及如何平衡短期和长期奖励以实现更好的控制。
6. 用户交互和个性化：研究如何将TOLE算法与用户交互相结合，以实现更个性化的文本生成，满足不同用户的特定需求。
7. 伦理和社会影响：由于大型语言模型可能生成有争议的内容，研究如何确保TOLE算法的使用符合伦理标准，并减少对社会的潜在负面影响。
8. 模型解释性：提高模型的可解释性，帮助研究人员和用户理解模型的决策过程，以及每个生成步骤如何贡献于最终的文本属性。
9. 数据效率和样本效率：研究如何提高TOLE算法的数据效率和样本效率，减少训练过程中所需的数据量和计算资源。
10. 集成学习和社会学习：探索集成学习方法，例如通过结合多个专家模型来提高控制文本生成的性能。同时，研究社会学习方法，允许模型从人类反馈中学习并自我改进。

这些潜在的研究方向可以帮助进一步提升可控文本生成技术的性能和实用性，同时解决与算法相关的伦理和社会问题。

Q6: 总结一下论文的主要内容？

A：这篇论文的主要内容可以总结如下：

• 标题: Reinforcement Learning with Token-level Feedback for Controllable Text Generation
• 作者: Wendi Li, Wei Wei, Kaihe Xu, Wenfeng Xie, Dangyang Chen, Yu Cheng
• 机构: 华中科技大学、平安产险研究院、香港中文大学
• 摘要: 论文提出了一种新的强化学习算法TOLE，用于可控文本生成。TOLE通过token级别的奖励来提供更精细的控制，采用“先量化后加噪”的策略来增强算法的鲁棒性，并能灵活扩展到多属性控制任务。
• 引言: 介绍了大型语言模型（LLMs）在实际应用中控制生成文本的需求，以及现有方法（如重训练、微调、后处理）的局限性。指出了现有RL方法通常使用粗粒度反馈，导致性能次优和收敛缓慢。
• 相关工作: 回顾了可控文本生成的相关工作，包括基于不同框架的方法和多属性控制的研究。
• 方法:
  • 标记级奖励: 提出了一种基于贝叶斯分解的替代视角，将token级奖励定义为属性分类器概率变化。
  • RL算法: 介绍了TOLE算法的训练过程，包括初始化、探索、量化与加噪、学习等步骤。
  • 多属性扩展: 描述了如何通过训练一个小型的“weigher”模块来结合多个属性评分器的奖励，以实现多属性控制。
• 实验: 在情感控制和去毒化任务上进行了单属性控制实验。在Yelp数据集上进行了双属性和三属性控制实验。与多种基线方法进行了比较，并进行了自动评估和人工评估。
• 结果: TOLE算法在单属性和多属性控制任务上均取得了优越的性能，特别是在属性正确性和文本质量方面。
• 讨论: 论文讨论了算法的局限性，如无法达到100%的属性控制准确性，以及可能的应用场景限制。
• 伦理声明: 论文强调了生成的文本不代表作者观点，并指出算法可以帮助减少LLMs生成的有毒文本。
• 致谢: 感谢支持研究的机构和匿名审稿人。
• 参考文献: 列出了相关研究和工作的参考文献。

整体而言，这篇论文提出了一个创新的RL算法，通过token级别的精细控制和鲁棒的探索策略，显著提高了可控文本生成的性能，并在多个实验任务中验证了其有效性。

以上内容均由KimiChat生成，深入了解论文内容仍需精读论文