跳到主内容
快讯直播
AI智模界
AI 词典

MoE 微调的路由漂移:门房换了人,老专家就闲了

一句话定义:MoE 微调的路由漂移,指混合专家模型(Mixture of Experts, MoE)在下游微调时,路由网络(router)的分派习惯发生偏移——同样的 token 被送进了和预训练时不同的专家,于是新任务学会了,旧本事却退化了。

原理:MoE 层里并排放着许多结构相同的小网络,叫专家(expert)。每个 token 不会经过所有专家,而是由路由器打分,只走 top-k 个,再按分数加权合并。路由器的参数量通常极小,但权力极大——它一票决定某个 token 进谁的门。预训练用海量、多样的数据把这套分派训练得相对均衡;微调数据往往窄、重复、风格单一,路由器很快顺着这批数据“讨好”,把大量 token 集中塞给少数几个专家。

打个比方:一家大医院有分诊台和十几个专科。预训练相当于分诊护士见多识广,什么病人都往对的门送。微调相当于医院突然只收一种病人,护士被重新培训,于是把几乎所有病人都往两个科室送:这两个科室天天加班,业务被改造成只会看这一种病;其他科室门可罗雀,医生没活干,也不再跟进医院的新流程。等老病人回来,他们已经接不上了。

更麻烦的是反馈回路:专家只有被路由选中,才拿得到梯度。没被选中的专家参数几乎不动,而注意力层、归一化层都在变,它们和网络的其余部分脱节——技能还在,语境没了。同时被选中的专家过载,推理效率也跟着变差,部分实现还会因为容量上限丢弃 token。

和相邻概念的区别:

概念关注点与路由漂移的关系
AI 词典:灾难性遗忘">灾难性遗忘(catastrophic forgetting)参数更新覆盖旧知识通用现象;路由漂移是它在 MoE 上的放大器
负载不均衡(load imbalance)各专家接单量悬殊是可观测的指标,预训练也会出现;漂移是微调期的主要成因
专家专业化专家自发形成分工预训练的正常结果;漂移是把这种分工打乱

实际意义:如果你在微调开源的 MoE 模型,看到新任务涨了、通用能力却掉得不成比例,先别急着怪数据量——去看各专家分到的 token 比例、路由熵,以及微调后与预训练时的路由重合度。缓解手段都很朴素:冻结路由器或给它更小的学习率、微调时继续开着负载均衡损失(load-balancing loss)、用 KL 散度(KL divergence)把新路由分布拉住、混入一部分通用数据做回放。具体支持哪些开关,以所用框架和模型的官方文档为准。

对普通职场人,这件事的启发更直白:一个团队里“谁负责什么”的分派规则一旦被短期任务带偏,最贵的损失往往不是那几个忙到崩溃的骨干,而是那些默默闲置、悄悄过时的能力。掌握调度权的那个小角色,常常决定了一个组织的遗忘速度。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。