基于双级优化（BLO）的消除过拟合的微调方法

摘要：低秩适应（LoRA）是在下游任务中通过学习低秩增量矩阵对大规模预训练模型进行微调的一种流行方法。虽然与完全微调方法相比，LoRA 及其变体能有效减少可训练参数的数量，但它们经常会对训练数据进行过拟合，导致测试数据的泛化效果不理想。为了解决这个问题，我们引入了 BiLoRA，这是一种基于双级优化（BLO）的消除过拟合的微调方法。BiLoRA 采用伪奇异值分解来参数化低秩增量矩阵，并将伪奇异向量和伪奇异值的训练分成两个不同的训练数据子集。这种分割嵌入了 BLO 框架的不同层次，降低了对单一数据集过度拟合的风险。BiLoRA 在涵盖自然语言理解和生成任务的十个数据集上进行了测试，并应用于各种著名的大型预训练模型，在可训练参数数量相似的情况下，BiLoRA 明显优于 LoRA 方法和其他微调方法。

https://arxiv.org/abs/2403.13037

Q1: 这篇论文试图解决什么问题？

A：这篇论文试图解决的问题是大型预训练模型在下游任务中进行微调时出现的过拟合问题。尽管低秩适应（LoRA）及其变体通过学习低秩增量矩阵有效地减少了与完全微调方法相比的可训练参数数量，但这些方法往往容易过拟合训练数据，导致在测试数据上泛化性能不佳。为了解决这个问题，论文引入了基于双层优化（BLO）的BiLoRA方法，通过在不同的训练数据子集上分别训练伪奇异向量和奇异值来减轻过拟合的风险。

Q2: 有哪些相关研究？

A：这篇论文提到了几项与BiLoRA相关的研究领域，具体包括：

低秩适应（Low-Rank Adaptation, LoRA）:

Li et al. (2018) 和 Aghajanyan et al. (2020) 展示了预训练模型具有很低的内在维度，并且可以通过使用低秩参数化来实现与全参数微调相当的性能。

Hu et al. (2021) 提出了LoRA，通过将低秩更新矩阵引入到预训练的权重矩阵中来实现。

其他方法如DyLoRA (Valipour et al., 2022)，QLoRA (Dettmers et al., 2023)，和LoraHub (Huang et al., 2023) 旨在提高LoRA的效率和性能。

双层优化（Bi-level Optimization, BLO）:

BLO在元学习（Finn et al., 2017; Rajeswaran et al., 2019），超参数优化（Franceschi et al., 2017; Lorraine et al., 2020），神经架构搜索（Liu et al., 2018; Zhang et al., 2021），强化学习（Rajeswaran et al., 2020）等领域得到了广泛应用。

提出了多种算法来解决这种特定形式的优化问题，包括零阶方法如贝叶斯优化（Cui & Bai, 2019），一阶算法基于超梯度（Pearlmutter & Siskind, 2008; Lorraine et al., 2020）等。

其他微调方法:

Full Fine-Tuning (FT) 是一种常用的适应方法，涉及对所有模型参数进行梯度更新。

Bias-only 或 BitFit (Zaken et al., 2021) 只训练偏置向量，而保持预训练模型中的其他参数不变。

Prefix-embedding tuning 和 Prefix-layer tuning 是在输入嵌入或Transformer层之间插入可训练的特定参数。

Adapter tuning (Houlsby et al., 2019) 通过在神经模块之间插入适配器来适应模型。

这些相关研究为BiLoRA的开发提供了理论基础和技术背景。BiLoRA通过结合LoRA的低秩更新和BLO的双层优化策略，旨在提高大型预训练模型在特定下游任务中的泛化能力和微调效率。

Q3: 论文如何解决这个问题？

A：为了解决大型预训练模型在下游任务微调时的过拟合问题，论文提出了BiLoRA（Bi-level Optimization Framework for Overfitting-Resilient Low-Rank Adaptation）方法，具体解决方案如下：

双层优化（Bi-level Optimization, BLO）:

BiLoRA采用双层优化框架，将参数学习分为两个层次。在较低层次，优化伪奇异向量（P和Q），在较高层次，优化伪奇异值（Λ）。

参数化低秩增量矩阵:

类似于奇异值分解（SVD），每个低秩增量矩阵∆W被参数化为∆W = PΛQ，其中P和Q是伪左/右奇异向量矩阵，Λ是伪奇异值对角矩阵。

通过正则化项（R1）鼓励P和Q的近似正交性。

分离训练过程:

在较低层次，固定Λ，仅在训练数据集D1的一个子集上训练P和Q。

在较高层次，使用从较低层次得到的最优P和Q（记为V*(Λ)），在剩余的数据集D2上训练Λ。

迭代优化:

通过迭代方式交替解决两个层次的优化问题，直到收敛。

正则化伪奇异值:

提供了三种伪奇异值的参数化形式：实值（Real-Value）、Softmax和近似二值（Approximately Binary），以控制不同奇异向量对最终模型的贡献。

高效的训练框架:

利用基于梯度的优化算法，特别是针对高维问题和大量可训练参数的情况。

通过这种方法，BiLoRA能够在不同的数据子集上分别学习模型的架构（Λ）和候选操作（P和Q），从而有效地减少了对单一数据集的过拟合风险，并提高了模型在测试数据上的泛化性能。论文通过在多个自然语言理解和生成任务的数据集上进行实验，证明了BiLoRA与其他微调方法相比，在保持相似数量的可训练参数的同时，能够取得更好的性能。

Q4: 论文做了哪些实验？

A：论文中进行了一系列的实验来验证BiLoRA方法的有效性和性能，具体包括：

自然语言理解（NLU）任务:

在GLUE基准测试上评估了RoBERTa和DeBERTa模型。GLUE包含多种NLU任务，包括情感分析、语义相似性评估、自然语言推理等。

使用开发集作为测试数据，因为GLUE的测试集不公开。

将训练集分为两个子集，分别作为双层优化中的下层（D1）和上层（D2）数据集。

自然语言生成（NLG）任务:

在E2E NLG挑战赛上评估了GPT-2中大型模型。这个数据集用于评估端到端、数据驱动的自然语言生成系统。

遵循Prefix-Tuning和LoRA的设置，并与LoRA和其他微调方法进行直接比较。

不同参数化形式的实验:

对伪奇异值的三种参数化形式（Real Value、Softmax和Approximately Binary）进行了实验，以评估它们对模型性能的影响。

超参数γ1的影响分析:

分析了正交性促进正则化项中超参数γ1的不同取值对RoBERTa-base性能的影响。

计算成本比较:

比较了LoRA和BiLoRA在训练时间上的差异，以评估BiLoRA在减少总训练时间方面的效率。

与其他过拟合缓解方法的比较:

对比了增加权重衰减和采用更激进的秩修剪设置这两种常见的过拟合缓解方法在AdaLoRA上的效果。

扩展到大型模型的性能评估:

使用DeBERTa-v2xxlarge（1.5亿参数）模型评估了BiLoRA在非常大型模型上的扩展性能。

这些实验覆盖了从模型微调、正则化策略分析、不同参数化形式的比较，到计算效率和大规模模型适应性的全面评估，充分证明了BiLoRA方法在减少过拟合、提高泛化能力和计算效率方面的优势。

Q5: 有什么可以进一步探索的点？

A：论文中提到了几个可以进一步探索的研究方向和潜在的改进点：

伪奇异值的参数化形式:

论文中提出了三种伪奇异值的参数化形式：实值、Softmax和近似二值。未来的研究可以探索更多种类的参数化方法，特别是支持自动秩选择的参数化形式。

理论分析:

BiLoRA的双层优化框架提高了微调模型的泛化能力。未来的工作可以对这种优化策略的理论和实际效果进行更深入的分析，以更好地理解其工作原理。

超参数调整:

尽管BiLoRA的超参数调整相对简单，但进一步的研究可以探索自动化超参数优化技术，例如贝叶斯优化或进化算法，以提高BiLoRA的性能和效率。

不同模型架构的适应性:

论文中的实验主要针对RoBERTa、DeBERTa和GPT-2模型。BiLoRA方法在其他类型的模型架构上的效果和适用性值得进一步研究。

更广泛的任务和数据集:

尽管BiLoRA在多个NLU和NLG任务上表现出色，但在更多种类的任务和更大规模的数据集上的性能尚未得到验证。未来的研究可以在这些方面进行扩展。

计算效率:

尽管BiLoRA已经显示出比LoRA更少的训练时间，但仍有进一步提高计算效率的空间，例如通过优化迭代优化步骤或并行化技术。

模型解释性:

BiLoRA通过分开训练伪奇异向量和值来减少过拟合。研究这种训练策略如何影响模型的可解释性和决策过程可能是一个有趣的方向。

长期影响和适应性:

研究BiLoRA在长期部署和适应新任务或数据时的表现，以及如何整合新知识以最小化性能下降。

这些潜在的研究方向可以进一步推动BiLoRA方法的发展，并扩展其在自然语言处理和其他机器学习领域的应用。

Q6: 总结一下论文的主要内容？

A：这篇论文的主要内容可以总结如下：

标题: BiLoRA: A Bi-level Optimization Framework for Overfitting-Resilient Low-Rank Adaptation of Large Pre-trained Models

问题陈述: 大型预训练模型在下游任务中的微调经常面临过拟合问题，导致模型在训练数据上表现良好，但在测试数据上泛化能力不足。

方法: 为了解决这个问题，论文提出了BiLoRA，一个基于双层优化（BLO）的微调方法。BiLoRA通过伪奇异值分解（pseudo SVD）的形式参数化低秩增量矩阵，并在两个不同的训练数据子集上分别训练伪奇异向量和伪奇异值。

关键创新:

引入双层优化框架，将参数学习分为两个层次，分别优化伪奇异向量和伪奇异值。

在不同的数据子集上训练参数，减少了对单一数据集的过拟合风险。

提出了三种伪奇异值的参数化形式：实值、Softmax和近似二值。

实验:

在GLUE基准测试上对RoBERTa和DeBERTa模型进行了评估。

在E2E NLG挑战赛上对GPT-2模型进行了评估。

对比了BiLoRA与LoRA、AdaLoRA和其他微调方法的性能。

分析了不同参数化形式和超参数设置对模型性能的影响。

结果: BiLoRA在多个自然语言理解和生成任务上显著优于LoRA方法和其他微调方法，同时保持了相似数量的可训练参数。

结论: BiLoRA是一个有效的微调方法，可以减少大型预训练模型的过拟合问题，并提高模型在测试数据上的泛化性能。论文还提出了未来研究的潜在方向，包括改进参数化形式、理论分析和计算效率等。

这篇论文为大型预训练模型的微调提供了一个新的视角，并通过实验验证了其有效性。BiLoRA方法的提出，为NLP社区提供了一个有价值的工具，以提高模型在各种下游任务中的性能。

审核编辑：黄飞