一句话定义:指令微调(Instruction Tuning)是在预训练模型之后,用一批“指令—回答”样本继续训练,让模型从只会续写文本,变成会按人的要求完成任务。
展开讲清:预训练像让人读遍图书馆。模型学会的是“下一个词最可能是什么”,所以它擅长续写,却不一定擅长听话。你问“北京有哪些好玩的?”,它可能续写成“上海有哪些好玩的?广州有哪些好玩的?”——因为它把问题当成一段文本的开头,而不是一个需要回答的任务。
指令微调像岗前培训。给模型看大量“请把这段话翻译成英文”“总结成三点”“改写成礼貌邮件”“根据表格回答问题”以及对应的标准答案。训练后,模型逐渐形成条件反射:看到指令,就生成符合要求的回答,而不是顺着写下去。样本通常由指令(instruction)和期望输出(response)组成,可能带统一模板,也可能包含多轮对话。
和相邻概念的区别:
| 概念 | 做什么 | 与指令微调的关系 |
|---|---|---|
| 预训练(Pre-training) | 在海量文本上预测下一个词 | 提供基础语言能力,通常在前 |
| 指令微调 | 用“指令—回答”监督训练 | 让模型学会遵循指令 |
| 提示工程(Prompt Engineering) | 在输入里写要求,不改权重 | 推理时使用,不改模型参数 |
| 人类反馈强化学习(RLHF) | 用人类偏好训练奖励模型并优化 | 常在指令微调之后做对齐 |
要注意,普通微调也可以让模型学新领域,但如果数据不是指令形式,模型可能只是继续学“怎么续写”。指令微调的关键不只是学知识,而是学“用户要什么,我就按什么格式和语气给什么”。
对从业者的意义:数据质量、任务多样性和回答格式,往往比单纯堆数量更重要。只训某一类指令,模型可能只会那一类;覆盖总结、改写、问答、分类、拒答边界等,泛化会更好。
对普通人的意义:你用的聊天助手之所以能“听懂人话”,指令微调是关键一步。但它仍可能误解或编造,重要信息要交叉核实。具体模型是否经过该步骤、用什么数据,以官方页面为准。
