每日论文速递 | 【COLING'24】通过一致性对齐提高LLM回答鲁棒性

zenRRan

发布于 2024-04-11 16:15:43

1170

发布于 2024-04-11 16:15:43

深度学习自然语言处理分享 整理：pp

摘要：大型语言模型（LLM）在遵循用户指令并生成有用的响应方面取得了巨大成功。然而，它们的鲁棒性还远未达到最佳状态，因为它们可能会因为口头指令的细微变化而生成明显不一致的响应。最近有文献探讨了这一不一致性问题，强调了持续改进应答生成鲁棒性的重要性。然而，目前仍缺乏系统的分析和解决方案。在本文中，我们对不一致性问题进行了定量定义，并提出了一个由指令增强监督微调和一致性对齐训练组成的两阶段训练框架。第一阶段通过类似指令增强帮助模型泛化后续指令。在第二阶段，我们通过区分类似反应中的细微差别来提高多样性，并帮助模型理解哪些反应更符合人类的期望。训练过程由第一阶段训练好的模型推断出的自我奖励完成，无需参考外部的人类偏好资源。我们在最近公开发布的 LLM 上就指令遵循任务进行了大量实验，证明了我们的训练框架的有效性。

https://arxiv.org/abs/2403.14221

Q1: 这篇论文试图解决什么问题？

A：这篇论文试图解决大型语言模型（LLMs）在遵循用户指令时的一致性问题。尽管LLMs在遵循用户指令和生成有用响应方面取得了巨大成功，但它们的鲁棒性仍然不是最优的，因为它们可能会因为指令中的微小变化而生成显著不一致的响应。为了解决这个问题，论文提出了一个两阶段的训练框架，包括指令增强的监督微调和一致性对齐训练，以提高LLMs在遵循指令时的一致性和鲁棒性。具体来说，第一阶段通过类似的指令增强帮助模型泛化指令遵循能力；第二阶段通过区分相似响应中的微妙差异来提高响应的多样性，并帮助模型理解哪些响应更符合人类期望。训练过程通过从第一阶段训练的模型中推断出的自我奖励完成，而不依赖外部人类偏好资源。论文通过在最新的公开可用LLMs上进行广泛的实验，证明了所提出训练框架的有效性。

Q2: 有哪些相关研究？

A：这篇论文提到了多个与大型语言模型（LLMs）的一致性和鲁棒性相关的研究领域，具体包括：

指令调整（Instruction Tuning）:
- 近年来的研究通过在预训练模型上执行指令微调来帮助LLMs理解和遵循用户指令。
- 例如，使用PPO（Proximal Policy Optimization）优化微调模型以学习人类偏好，或者通过奖励排名微调方法选择模型输出来微调基础LLMs。
提示（Prompting）:
- 提示方法通过使用少量样本或合适的指令来提高LLMs的对齐性。
- 例如，Chain-of-thought (CoT) 提示方法用于提高推理能力，以及least-to-most prompting用于解决复杂推理任务。
指令数据（Instruction Data）:
- 研究者从现有基准测试中收集大量多样化和异构的NLP任务，用于指令调整。
- 也有研究通过众包收集人类编写的指令，或者利用LLMs自动生成大规模、多样化和更复杂的指令。
遵循指令的鲁棒性（Robustness on Instruction-following）:
- 一些研究探讨了操作指令如何降低指令调整LLMs的性能。
- 例如，通过不同的语言表述评估LLMs遵循指令的能力，并强调了在指令遵循能力上持续改进的必要性。

这些相关研究为论文提出的一致性对齐训练框架提供了背景和动机，同时也表明了在提高LLMs生成响应的一致性和鲁棒性方面仍有待解决的问题。论文中还提到了一些具体的工作，如Vicuna、LLaMA-2、GPT-3.5、GPT-4等，这些工作在LLMs的发展中起到了重要作用。

Q3: 论文如何解决这个问题？

A：论文提出了一个两阶段的训练框架来解决大型语言模型（LLMs）在遵循指令时的一致性问题，具体方法如下：

第一阶段：指令增强的监督微调（Instruction Augmented Supervised Fine-Tuning, SFT(IA)）

指令增强：通过提示大型语言模型对原始指令进行改写，生成多个语义相同但表述不同的指令版本。
监督微调：将改写后的指令与原始指令一起用于微调模型，以此提高模型对指令的泛化能力。

第二阶段：响应一致性对齐训练（Response Consistency Alignment Training, CAT）

生成候选响应：使用经过第一阶段微调的模型对改写后的指令生成候选响应。
构建响应对：通过比较生成的响应，构建好的响应与差的响应对（pairs），其中每个响应通过一致性得分单独评估。
自我奖励：让模型自我评估生成的响应是否符合预期的响应类型和正确性，并据此给予奖励。
优化模型：使用离线训练算法优化模型，直接从自我奖励中学习偏好，以提高响应的一致性。

通过这两个阶段的训练，模型学会了在面对语义相同但表述不同的指令时生成更一致的响应，从而提高了遵循指令时的鲁棒性。论文中还提到了使用自我奖励机制，这意味着在训练过程中不需要外部的人类偏好资源或奖励模型，而是依赖于模型自身生成的内容来评估和优化一致性。

论文通过在多个公开可用的LLMs上进行广泛的实验，包括Vicuna-7B、Vicuna-13B、Llama2-7B和Llama2-13B，验证了所提出训练框架的有效性。实验结果显示，通过明确添加一致性自我对齐，这些LLMs在遵循指令的任务上可以获得鲁棒性改进。

Q4: 论文做了哪些实验？

A：论文中进行了一系列实验来验证所提出的训练框架的有效性，具体包括：

数据集准备：
- 使用Super Natural Instructions数据集，包含1600+个不同的NLP任务，每个任务至少有一个专家编写的指令和平均3155个输入输出样本。
- 随机抽样构建训练、验证和测试集，并为测试集生成了额外的测试实例。
模型训练：
- 训练了Vicuna-7B、Vicuna-13B、Llama2-7B和Llama2-13B模型。
- 对比了原始LLM、标准监督微调（SFT）方法，以及使用所提出的训练方法（SFT(IA)和SFT(IA)+CAT）。
评估指标：
- 一致性率（Consistency Rate, CR）和最大一致性率（Maximum Consistency Rate, MCR）来衡量模型在不同指令下的响应一致性。
- ROUGE-1和ROUGE-L分数来评估生成文本的质量。
- 人工评估生成响应的质量，通过打分0、1、2来比较不同模型的性能。
实验结果：
- 报告了在测试集I上比较不同模型和训练方法的一致性指标CR、MCR以及ROUGE分数。
- 展示了在测试集II上的ROUGE分数。
- 进行了详细的分析，包括奖励选择、λ参数的选择、增强指令数量的影响等。
- 提供了人工评估的结果，比较了不同训练策略生成的响应的质量。
详细分析：
- 分析了奖励设置的必要性，即是否需要将奖励分为判断响应类型和正确性的两个步骤。
- 探讨了不同模型生成的奖励对CAT性能的影响。
- 研究了在最终训练目标中SFT损失系数λ的不同取值对性能的影响。
- 讨论了增加指令增强数量对性能的影响。

这些实验全面地评估了所提出训练框架在提高LLMs遵循指令时的一致性和鲁棒性方面的有效性，并通过与其他训练方法的对比，展示了该框架的优势。

Q5: 有什么可以进一步探索的点？

A：尽管论文提出了一个有效的训练框架来提高大型语言模型（LLMs）的一致性和鲁棒性，但仍有一些方面可以进一步探索：

模型泛化能力：
- 研究该训练框架在不同类型的LLMs上的效果，包括更小或更早的模型版本，以及不同架构的模型。
- 探索该框架在不同领域和更复杂任务上的应用和效果。
数据集多样性：
- 扩大和多样化训练和测试数据集，以包括更多真实世界场景和用户指令的变体。
- 研究如何收集和利用来自真实用户的指令数据来提高模型的鲁棒性。
奖励机制的改进：
- 探索更先进的奖励机制，例如结合人类反馈或使用多任务学习策略。
- 研究如何更精确地定义和计算响应的一致性和质量的奖励。
训练过程的优化：
- 分析和优化训练过程中的超参数选择，以提高训练效率和模型性能。
- 研究如何减少训练过程中的计算资源消耗，使方法更加实用和可扩展。
模型解释性：
- 研究如何提高模型的可解释性，以便更好地理解和调试模型的决策过程。
- 探索模型在生成响应时的内部表示和注意力机制，以揭示其一致性对齐的工作原理。
伦理和偏见问题：
- 考虑模型可能编码的偏见问题，并研究如何减轻这些偏见对模型性能和用户交互的影响。
- 探索如何确保模型生成的内容符合伦理标准和社会价值观。
实际应用场景：
- 将训练框架应用于实际的对话系统、内容生成或其他NLP应用中，评估其在现实世界中的有效性和实用性。
- 研究如何将该框架与其他NLP技术结合，以构建更强大的语言理解和生成系统。