每日论文速递 | 当缩放遇到LLM微调:数据、模型和微调方法的影响

深度学习自然语言处理 分享 整理：pp

When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method

摘要：虽然大型语言模型（LLM）通常采用微调来解锁其下游应用程序的功能，但我们对不同微调方法的归纳偏差（特别是缩放属性）的理解仍然有限。为了填补这一空白，我们进行了系统的实验，研究不同的缩放因子，包括LLM模型大小，预训练数据大小，新的微调参数大小和微调数据大小，是否以及如何影响微调性能。我们考虑两种类型的微调-全模型调整（FMT）和参数有效的调整（PET，包括即时调整和LoRA），并探讨其缩放行为的数据有限的制度，其中LLM模型的大小大大超过微调的数据大小。基于1B到16 B两组预训练的双语LLM，以及在双语机器翻译和多语种摘要基准测试上的实验，我们发现：1）LLM微调遵循基于幂的乘法联合缩放律，即微调数据大小与彼此缩放因子之间的比例关系; 2）LLM微调从LLM模型缩放中获得的收益大于预训练数据缩放，PET参数缩放通常无效;以及3）最优微调方法是高度任务和微调数据相关的。我们希望我们的研究结果可以帮助理解，选择和发展LLM微调方法。

https://arxiv.org/abs/2402.17193

Q1: 这篇论文试图解决什么问题？

A：这篇论文试图解决的问题是理解大型语言模型（LLMs）在微调（finetuning）过程中的归纳偏差，特别是不同微调方法的缩放属性。具体来说，研究者们通过系统实验来探讨以下几个方面：

不同缩放因素如何影响微调性能：这包括LLM模型大小、预训练数据大小、新的微调参数大小以及微调数据大小。

全模型微调（FMT）与参数高效微调（PET，包括提示调整和LoRA）的缩放行为：研究者们在数据受限的情况下（即LLM模型大小远大于微调数据大小）探索这两种微调方法的缩放行为。

微调方法的选择：论文希望揭示微调方法的选择对于下游任务的影响，以及如何根据任务和数据来选择最优的微调方法。

微调对模型泛化能力的影响：研究微调是否会影响LLM在相关任务上的零样本（zero-shot）泛化能力。

通过这些研究，论文旨在为理解、选择和发展LLM微调方法提供见解。

Q2: 有哪些相关研究？

A：相关研究主要集中在以下几个领域：

LLM微调（LLM Finetuning）：研究者们探索了在大型预训练模型上进行微调的方法，以提高特定任务的性能。这包括使用适配器（adapters）、前缀和提示调整（prefix and prompt tuning）、LoRA（低秩适应）、Bitfit（可调偏置向量）等技术。

缩放定律（Scaling Laws）：研究显示，神经模型的性能可以通过模型和/或数据大小的幂律来预测。这些模式在计算机视觉、自回归生成建模、神经机器翻译、多语言翻译、多模态建模和稀疏神经架构等领域都有发现。

知识转移的缩放（Scaling for Knowledge Transfer）：一些研究比较了微调与从头开始训练（training from scratch）在知识转移方面的效果，以理解微调在不同规模模型中的作用。

参数高效的方法（Parameter-Efficient Methods）：研究者们开发了各种参数高效的方法，以在不显著增加参数数量的情况下，实现对预训练模型的有效微调。这些方法包括但不限于LoRA、Prompt Tuning、Adapters等。

多模态和多任务学习（Multi-Modal and Multi-Task Learning）：研究者们探索了在多模态数据（如图像和文本）上训练和微调模型的方法，以及如何在多个任务之间共享和转移知识。

零样本和少样本学习（Zero-Shot and Few-Shot Learning）：研究者们研究了如何使模型在没有或只有少量标注数据的情况下进行有效学习，这与微调过程中的泛化能力密切相关。

这些相关研究为理解大型语言模型的微调行为提供了理论基础和实践经验，同时也指出了在不同领域和任务中微调方法的适用性和效果。

Q3: 论文如何解决这个问题？

A：论文通过以下步骤来解决这个问题：

系统实验设计：研究者们设计了一系列系统实验，以研究不同缩放因素（包括LLM模型大小、预训练数据大小、新的微调参数大小和微调数据大小）如何影响微调性能。他们考虑了两种类型的微调：全模型微调（FMT）和参数高效微调（PET），包括提示调整（Prompt Tuning）和LoRA。

数据集和模型选择：为了确保研究的普遍性，研究者们在两套预训练的双语LLM（英语-德语和英语-中文）上进行实验，模型大小从1B到16B不等。他们在WMT机器翻译（英语-德语和英语-中文）和多语言摘要（英语、德语、法语和西班牙语）任务上进行了大规模研究，使用了多达20M的微调示例。

提出缩放定律：研究者们提出了一个基于幂律的乘法联合缩放定律来描述微调数据大小与其他缩放因素之间的关系。他们通过实证证据表明这个联合定律在不同的设置中具有普适性。

分析和比较：研究者们分析了LLM模型缩放、预训练数据缩放和PET参数缩放对微调性能的影响。他们发现LLM模型缩放对微调的益处大于预训练数据缩放，而PET参数缩放通常效果不佳。

任务和数据依赖性：研究者们强调微调的缩放属性高度依赖于任务和数据，这使得为下游任务选择最佳微调方法变得复杂。

零样本泛化能力：研究者们还探讨了微调如何影响模型在相关任务上的零样本泛化能力。他们发现，尽管微调可以提高特定任务的性能，但它也可能使模型更专注于该任务，从而影响其泛化能力。

讨论和未来工作：最后，研究者们讨论了他们的发现，并提出了未来研究的方向，包括将研究扩展到多模态LLMs、探索微调数据质量的影响，以及考虑开放和创造性生成任务以及微调的多任务设置。

Q4: 论文做了哪些实验？

A：论文中进行的实验主要包括以下几个方面：

预训练双语LLMs：研究者们预训练了两套双语大型语言模型（LLMs），分别是英语-德语（En-De）和英语-中文（En-Zh），模型大小从1B（10亿参数）到16B（160亿参数）。

微调实验：在预训练的LLMs上进行了微调实验，包括全模型微调（FMT）和参数高效微调（PET），后者包括提示调整（Prompt Tuning）和低秩适应（LoRA）。实验涵盖了不同的微调数据规模，从几千到几十万不等。

下游任务：实验的下游任务包括WMT机器翻译（英语-德语和英语-中文）和多语言摘要（英语、德语、法语和西班牙语）。

缩放行为分析：

• 分析了LLM模型大小、预训练数据大小、PET参数大小和微调数据大小对微调性能的影响。
• 提出了一个乘法联合缩放定律来描述这些因素与微调数据大小之间的关系。

性能评估：

• 使用了不同的评估指标，如token级别的困惑度（PPL）来评估微调性能。
• 对于生成任务，使用了BLEURT和RougeL等指标来评估翻译和摘要的质量。

零样本泛化能力评估：对微调后的LLMs进行了零样本泛化能力的评估，特别是在相关任务上的表现。

不同微调方法的比较：比较了FMT、Prompt Tuning和LoRA在不同任务和数据规模下的性能差异。

关键微调数据规模的估计：使用拟合的缩放定律来估计在不同任务和模型大小下，不同微调方法之间的性能差异达到显著水平所需的微调数据规模。

Q5: 有什么可以进一步探索的点？

A：尽管论文提供了对大型语言模型微调缩放行为的深入理解，但仍有一些潜在的研究方向可以进一步探索：

理论基础：

对提出的乘法联合缩放定律进行更深入的理论分析，以更好地理解其背后的原理。

不同任务类型： 在更多类型的下游任务上验证缩放定律，包括开放域问答、文本摘要、情感分析等，以测试其普适性。

多模态和跨领域微调： 探索在多模态数据（如图像和文本）或跨领域任务上的微调行为，以及这些情况下的缩放定律。

数据质量和多样性： 研究微调数据的质量和多样性如何影响模型性能，以及如何优化微调策略以适应不同的数据特性。

超参数优化： 对微调过程中的超参数（如学习率、批量大小等）进行更细致的调整，以进一步提高微调效率和性能。

泛化能力的深入研究： 对微调后的模型在零样本和少样本学习任务上的泛化能力进行更深入的分析，以及如何平衡任务特定性能和泛化能力。

计算效率： 探索更高效的微调方法，以减少计算资源消耗，特别是在大规模模型上。

模型架构的影响： 研究不同的模型架构（如Transformer、CNN等）对微调缩放行为的影响。

跨语言和跨文化适应性： 研究微调方法在处理跨语言和跨文化数据时的表现，以及如何优化模型以更好地适应这些场景。

长期影响： 研究长期微调对模型性能和泛化能力的持续影响，以及如何设计微调策略以实现长期稳定的表现。

Q6: 总结一下论文的主要内容？

A：这篇论文的主要内容可以总结如下：

研究背景：大型语言模型（LLMs）通常采用微调（finetuning）来解锁其在下游应用中的潜力。然而，对于不同微调方法的归纳偏差，尤其是缩放属性，目前的理解还很有限。

研究目标：为了填补这一空白，论文通过系统实验研究了不同缩放因素（包括LLM模型大小、预训练数据大小、新的微调参数大小和微调数据大小）如何影响微调性能。

实验设计：研究者们在数据受限的情况下（即LLM模型大小远大于微调数据大小）探索了全模型微调（FMT）和参数高效微调（PET，包括提示调整和LoRA）的缩放行为。实验基于两套预训练的双语LLMs（英语-德语和英语-中文），并在机器翻译和多语言摘要任务上进行。

主要发现：

• 提出了一个基于幂律的乘法联合缩放定律来描述微调数据大小与其他缩放因素之间的关系。
• 发现LLM模型缩放对微调的益处大于预训练数据缩放，而PET参数缩放通常效果不佳。
• 微调的最优方法高度依赖于任务和微调数据，使得为下游任务选择最佳微调方法变得复杂。
• LLM基于微调的方法能够鼓励零样本泛化到相关任务，且PET表现优于FMT。
• 研究意义：这些发现有助于理解、选择和发展LLM微调方法，特别是在大型模型和有限数据的现实应用场景中。

未来工作：论文提出了未来研究的方向，包括扩展到多模态LLMs、探索微调数据质量的影响，以及考虑开放和创造性生成任务以及多任务设置的微调。

以上内容均由KimiChat生成，深入了解论文内容仍需精读论文