闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 距第二篇研究仅过去三天，Thingking Machines发布了第三篇研究博客。 核心作者是OpenAI联创之一 John Schulman 。 Thingking Machines创始人、OpenAI前CTO Mira Murati继续转发站台。 第三篇研究是关于 LoRA参数的高效微调方法 ，题目为《LoRA Without Regret》，探究了LoRA匹配全量微调（FullFT）效率的条件，还 给出了大幅降低调参难度的简化方案。 当前主流大模型动辄万亿参数，预训练数据达数十万亿token，但下游任务往往只需要小数据集、聚焦特定领域。 用FullFT更新所有参数，资源浪费严重。 而LoRA作为参数高效微调（PEFT）的核心方法，通过低秩矩阵A和B（总参数远少于原权重）捕捉微调信息，却始终面临一个争议： 它真的 能追上FullFT的性能吗？ John Schulman和Thingking Machines团队给出了肯定答案：只要抓准关键细节，LoRA不仅能和FullFT拥有相同的样本效率，还能达到一 样的最终性能。 下面具体来看。 LoRA最优学习率 ...