跳到主内容
快讯直播
AI智模界
AI 词典

缝合的不是权重,而是“半成品的思路”

一句话定义

模型缝合(Model Stitching)是把模型 A 的前几层和模型 B 的后几层接起来,中间插入一个可训练的小连接层,通常只训练这一层,然后观察拼出来的模型能否接近原来两个模型的水平。

原理:接的是半成品的思路

大模型每层传下去的是一个高维向量,也就是激活值。只要 A 和 B 在这一层的维度对得上,就能直接接起来:把 A 第 k 层的输出乘上一个学到的矩阵 W,再送进 B 的第 k+1 层。W 的自由度很小,只能做旋转、缩放、平移这类“换坐标系”的动作,没法凭空造出信息。

打个比方:A 和 B 是两个各写各的小说作者。让 A 写完前三章,把人物小传交给 B,B 用自己后几章的笔法续完。如果读者读下来觉得衔接自然、人设没崩,就说明两人心里的“人物关系坐标”对得上。

常见的实验结果是:同架构、不同随机种子训出的两个模型,缝合后性能几乎不掉;架构不同、训练数据不同、甚至模态不同(图文之间)的模型,性能会掉一截,但通常仍远高于随机水平。这说明不同模型学到的东西有相当的共性,差异很多时候只是“坐标系选得不一样”。

和相邻概念的区别

概念动的是什么想回答什么
模型缝合(Model Stitching)中间切一刀,接一个连接层两个模型的内部表征能不能互换
知识蒸馏(Knowledge AI 词典:Distillation">Distillation)小模型模仿大模型的输出能力能不能搬到更小的模型里
模型合并(Model Merging)直接对权重做加减或平均能不能不训练就融合多个模型的能力
表征相似度(如 CKA、线性探针)只测量,不改模型两组表征有多像

关键区别在于:相似度指标问的是“像不像”,缝合问的是“能不能顶替”,属于功能层面的检验,比相关系数更有说服力。但它也更脆弱:连接层本身能承担不少矫正工作,缝合后分数好看,不等于两边表征严格等价;反过来,掉几个点也未必是表征不同,可能只是后半段对输入分布的细微偏移比较敏感。

对从业者意味着什么

在做研究时,缝合是一种解释性(Interpretability)工具,用来判断不同模型是否收敛到同一套“内部语言”,也能用来观察层与层之间怎么对齐。

在工程上,它提示了一种模块化的可能:预训练模型未必是不可拆分的黑箱,前后半段在接口上存在替换、复用、跨模态拼接的空间。但“缝得上”是研究结论,“敢上线”是另一回事,中间还隔着稳定性、延迟和精度预算。要拿自己场景的实测说话,别把论文里的缝合成功率当成对自己系统的承诺。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。