跳到主内容
快讯直播
AI智模界
AI 词典

LoRA(低秩适配):只训练千分之一参数,为什么也能换风格、换领域

一句话定义

LoRA(Low-Rank Adaptation,低秩适配)是大模型微调的一种方法:冻结原模型的全部权重,只在旁边训练一对极小的矩阵,把它们的乘积叠加回原权重,用很少的可训练参数完成风格或领域迁移。

为什么千分之一的参数就够

微调时,某个权重矩阵 W 会被更新成 W + ΔW。人们发现,ΔW 里真正有用的信息往往是“低秩”的——它和 W 一样大,但可以用两个很瘦的矩阵相乘来近似。LoRA 于是不直接学 ΔW,而是学 A(d×r)和 B(r×d),r 常取 8、16、32 这样的小数字。前向计算变成 h = W₀x + BAx。初始化时 B 为零,模型起点和原版完全一致,训练中再慢慢学出那点“偏移量”。

打个比方:全量微调是把一本厚词典重写一遍;LoRA 是在书页上贴便利贴,只写少量批注,读的时候把批注一起算进去。也可以想成给照片加滤镜:底图没动,只调那薄薄一层。

和相邻方法的区别

方法改什么每个任务要存什么
全量微调全部权重一份完整模型
LoRA一对低秩小矩阵一个小适配器文件
适配器层插入新模块小文件,但推理多一层
提示词 / RAG不动权重,只改上下文通常不用存权重

LoRA 属于参数高效微调(PEFT)家族,和适配器层、前缀微调思路相近。它的一个好处是:推理时可以把 BA 合并回 W₀,不额外增加延迟,对线上服务很友好。

对从业者的意义

以前微调大模型要动用一整套 GPU,现在单卡、少量数据就能跑。更实用的变化是“一个基座 + N 个适配器”:同一个底座模型,挂上客服话术 LoRA 就是客服助手,挂上合同审阅 LoRA 就是法务助手。做产品的团队可以把 LoRA 当插件来管理,迭代时也不用重新发布整个模型。

对普通人的意义

企业用自己积累的少量文档和对话,就能让通用模型学会“自家的说法”,不必从零训练。你遇到的那种很懂某个行业的 AI 助手,背后可能只是基座加了一个 LoRA。

局限

低秩这个假设不是永远成立:让模型学一门全新语言或全新技能时,LoRA 可能不如全量微调;r 取多大、加在哪些层,都要试;多个 LoRA 叠加也可能互相干扰。具体支持哪些模型、怎么配参数,以官方页面和文档为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。