BaLoRA：大规模模型的贝叶斯低阶适应

arXiv:2605.08110v1 公告类型：新 摘要：低秩适应 (LoRA) 已成为以降低计算成本微调大型预训练模型的标准。然而，其低等级点估计更新限制了表达能力，相对于完全微调精度留下了持续的差距，并且不提供内置的不确定性量化，限制了其在可靠性与准确性同样重要的环境中的适用性。我们引入了 BaLoRA，它是 LoRA 的贝叶斯扩展，具有新颖的 LoRA 矩阵输入自适应贝叶斯参数化，可添加最少的参数和计算。令人惊讶的是，贝叶斯扩展不仅产生了经过良好校准的不确定性估计，而且我们方法背后的自适应噪声注入也显着提高了预测准确性，通过跨自然语言推理和视觉任务的全面微调缩小了差距。当应用于金属有机框架中的带隙预测时，BaLoRA 会生成零样本测试时间不确定性估计，与训练有素的 LoRA 模型集合相比，该估计与模型误差的相关性更强，并且通过计算单调改进而不牺牲准确性。