跳到主内容
快讯直播
AI智模界
AI 词典

迁移学习(Transfer Learning):本事搬家

一句话定义:迁移学习(Transfer Learning)就是把在一个任务上学到的知识,搬到另一个相关任务上去用——尤其是新任务数据少、从头训练不划算的时候。

打个比方

你考了 C1 驾照,现在要去开一辆小货车。你不会从“什么是方向盘”重新学起,教练也只需要带你熟悉车长、盲区和载重,而不是让你重考一遍交规。已经学会的驾驶经验就是“预训练”,上路前那几天针对性练习就是“微调”。迁移学习干的是同一件事。

原理:模型到底搬走了什么

神经网络在大规模数据上预训练(pretraining)时,会顺便学到大量通用模式。视觉模型先学会边缘、纹理、形状;语言模型先学会词法、句法和常见搭配。这些“底层表示”对很多下游任务(downstream task)都有用,没必要在新任务上重学一遍。

把预训练成果搬到新任务,常见有三种姿势:

  • 当特征提取器:冻结(freeze)主干网络,只拿它的输出接一个简单分类器。
  • 微调(fine-tuning):不冻主干,用较小的学习率在目标任务数据上继续训练,让通用特征向新任务偏移。
  • 参数高效微调(PEFT):只训练极少量新增参数。比如 LoRA(Low-Rank Adaptation),用低秩矩阵去近似参数更新量,主干完全不动——省显存、省存储,还能一个底座配多套任务适配器。

和相邻概念的区别

概念关键差别
从零训练参数随机初始化,数据和算力需求大
多任务学习多个任务同时训、互相帮忙;迁移学习有“源→目标”的先后
领域适应任务相同、数据分布不同(如影棚照片到手机照片),可看作迁移学习的子集
元学习目标是“学会如何快速学新任务”,迁移学习只是复用已有知识

对实际工作的意义

对从业者:接到新需求,先问一句“有没有能复用的预训练模型”。数据只有几百上千条时,微调几乎总比从零训练划算。但要警惕两件事:分布差太远会“负迁移”(negative transfer),越学越糟;小数据上全量微调容易AI 词典:灾难性遗忘">灾难性遗忘(catastrophic forgetting),把预训练学到的东西冲掉。这也是 LoRA 这类方法流行的原因——它把改动限制在一小块参数里。

对普通职场人:你能听懂方言的语音助手、能读懂公司文档的问答工具,很多不是“重新学了一遍世界”,而是拿一个通识底座补了几百个例子。迁移学习的价值就在这儿——把昂贵的“通识”变成一次投入、多次复用。

具体某个模型支持哪种微调方式、许可范围如何,以官方页面为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。