LoRA再升级！英伟达 | 提出权重分解低阶适应：DoRA，极大的增强模型学习能力

引言

大模型的高效微调一直是业内关注的焦点，因为这将直接影响大模型在不同专业领域的应用。在广泛使用的参数高效微调（PEFT）方法中，LoRA 及其变体由于避免了额外的推理成本而获得了相当大的普及。然而，这些方法与完全微调（FT）之间仍然经常存在精度差距。

为此，本文提出了权重分解低阶适应（DoRA），增强了 LoRA 的学习能力和训练稳定性，同时避免了任何额外的推理开销，实验表明DoRA 在各种下游任务上的模型微调都要优于LoRA。

https://arxiv.org/pdf/2402.09353.pdf

背景介绍

当前使用广泛的通用领域数据集进行预训练的模型，基本上都表现出了很强的泛化能力，这也推动了自然语言处理 (NLP) 、多模态等任务应用的发展。为了让模型适用于特定的下游任务，通常会采用完全微调（FT）方式重新训练所有模型参数。然而，随着模型和数据集规模的扩大，微调整个模型需要的费用将变的非常昂贵。

为了解决这个问题，研究人员们开始引入参数高效微调（PEFT）方法，该方法旨在降低大型模型微调成本。它们通过仅训练相对于总参数数量的一小部分参数来适应下游任务，从而实现这一目标。现有的PEFT方法可以分为三类。

第一类是适配器方法（Adapter-based methods），此类方法涉及将额外的可训练模块引入原始冻结的主干网络中；

第二类是提示方法（Prompt-based methods），此类方法在初始输入中添加额外的soft tokens，并专注于微调这些可训练向量。

这两类方法，无论是改变模型的输入还是架构，都会导致相对于基准模型的推理延迟增加。

第三类是LoRA及其变体方法，特点是不增加额外推理负担。它们利用低秩矩阵来近似微调过程中的权重变化，并与预训练权重合并以进行推理。本文研究也属于第三类，并通过综合实验验证了所提方法与LoRA及其变种的有效性。

借鉴权重归一化，通过权重参数化来改善梯度条件以实现更快的收敛。本文介绍了一种新型的权重分解分析方法，该方法首先将模型权重重新参数为幅度和方向分量，随后检查 LoRA 和 FT 引入的幅度和方向。

本文分析结果表明，LoRA 和 FT 表现出明显不同的更新模式，这些变化反映了每种方法的学习能力。受研究分析结果的启发，本文提出了权重分解低阶适应（DoRA）。

DoRA介绍

DoRA首先将预训练的权重分解为其幅度和方向分量，然后对两者进行微调。考虑到方向分量在参数方面的巨大规模，利用 LoRA 进行方向自适应，以实现高效的微调，如图 1 所示。

具体来说，DoRA的权重分解分析的关键组成可分为以下几个部分：

「权重分解」：DoRA首先对预训练模型的权重进行分解，将每个权重矩阵分解为幅度（magnitude）向量和方向（direction）矩阵。这种分解使得模型可以更好地控制权重的学习过程。

「高效微调」：在微调过程中，DoRA使用LoRA进行方向性更新，只调整方向部分的参数，而保持幅度部分不变。这种方式可以减少需要调整的参数数量，提高微调的效率。这种方法相对于传统微调方法简化了任务，传统方法需要调整幅度和方向。

「学习能力和训练稳定性」：权重分解分析有助于DoRA增强模型的学习能力和训练稳定性。该方法旨在模拟全面微调的学习能力，同时避免任何额外的推理开销。

实验结果

DoRA在各种下游任务中表现出比其他方法更优越的性能，包括常识推理、图像/视频-文本理解、视觉指令调整、消融研究等。

「常识推理」：在对LLaMA-7B/13B进行常识推理任务评估时，DoRA优于LoRA和几种基准方法，实现了更高的准确性16，如下图所示。

「图像/视频-文本理解」：在使用VL-BART进行多任务评估中，涉及VQA、GQA、NVLR2、COCO Caption、TVQA、How2QA、TVC和YC2C等任务，DoRA在准确性方面始终优于LoRA，如下图所示。

「视觉指令调整」：DoRA在LLaMA-7B和LLaMA2-7B上展示了与LoRA和VeRA进行指令调整的兼容性，展示了其在此任务中的有效性，如下图所示。