一句话定义:Stepwise-Querying(分步查询蒸馏)是一种知识蒸馏(Knowledge AI 词典:Distillation">Distillation)做法——不让教师模型一次性写出完整思维链(Chain-of-Thought, CoT)交给学生模仿,而是把问题切成若干小步,学生先自己走一步,教师只对这一步给判断或纠正,再把这些“状态—动作—反馈”做成训练信号。
它解决了什么。传统 CoT 蒸馏的默认姿势是:教师模型拿到题目,生成一条几百上千 token 的推理长链,学生模型(通常小得多)拿去做监督微调,学会“像老师那样写”。问题有三个:一是错误传播,长链中间某一步算错,后面全跟着错,而学生把整条链当标准答案背下来;二是表面模仿,学生学到的是句式与措辞,未必学到“为什么这一步要这么选”;三是风格不匹配,教师的长链习惯(自我怀疑、反复验算)小模型根本学不来。
分步查询怎么改。它把一次长生成拆成多轮短交互:每一步只暴露当前状态(题目、已得到的中间结果),先让学生给出“下一步做什么/这一步等于多少”,再由教师或规则校验器判定对错并给出简短反馈。于是教师不必产出完美长链,只需在局部做判断;学生则在训练中看到大量“我这样走,被纠正成那样”的样本。
打个比方:教做菜。传统蒸馏是老师写一份两千字菜谱让学生背;分步查询是把做菜切成“切什么、火多大、什么时候下锅”,每一步学生先说自己打算怎么办,老师在旁边点评“对”或“不对,因为锅还没热”。学生练出的是判断力,不是背诵。
| 维度 | 传统 CoT 蒸馏 | 分步查询蒸馏 |
|---|---|---|
| 教师输出 | 一次性完整思维链 | 每步一条简短判断/反馈 |
| 学生角色 | 模仿长文本 | 先自主走一步,再接受监督 |
| 错误处理 | 链中一错,后面全错 | 局部可纠,单步可回退 |
| 数据形态 | 题目—长链配对 | 状态—动作—反馈三元组 |
| 主要成本 | 高质量长链的生成与过滤 | 多轮交互与每步校验 |
和相邻概念的区别。它和“拒绝采样后微调”不同:后者只看最终答案对不对,不拆步骤;也和“过程奖励模型(Process Reward Model)”相邻但不等同:PRM 是给每一步打分当奖励,分步查询蒸馏是把分步反馈直接做成监督数据,常可配合使用。
对从业者的意义。蒸馏流水线从“生成长链 → 过滤 → SFT”变成“多轮交互 → 逐步标注/自动校验 → 训练”,校验可以用单元测试、计算器、检索结果自动化,因而对超大教师模型的依赖下降。适合数学应用题、多跳问答、工具调用与 agent 步骤规划等“步骤可切分、单步可验证”的任务;反之,分类、抽取这类一步到位的任务,或步骤边界模糊、每步校验成本高于收益的场景,就不划算。
对普通人来说,意义在于同样参数量的端侧小模型能更稳地完成多步任务。需要注意步长粒度、反馈质量和推理轨迹的拼接方式都会显著影响效果,各家实现差异不小,具体细节以官方页面为准。
