跳到主内容
快讯直播
AI智模界
AI 词典

多任务损失加权:权重没调好,任务就学废

一句话:多任务损失加权(multi-task loss weighting)是把多个任务的损失(loss)按不同权重加起来,凑成一个总损失,再一起反向传播的做法。

打个比方。一个学生同时学数学、英语、体育,期末总评 = 0.7×数学 + 0.2×英语 + 0.1×体育。问题来了:数学满分 100,体育满分 10,直接相加,体育那点分数几乎听不见;反过来,若某科分数提升空间大、波动大,它又会主导总评。多任务模型就是一本“总账”:几个任务共享底层参数,各自算 loss,加权求和后只反传一次。

最常见的问题是量纲不齐。分类用交叉熵(cross-entropy),回归用均方误差(MSE),检测还要加框回归损失(bounding box regression loss),三者数值范围差好几个量级。不加权直接相加,相当于给数值大的任务提高了权重,客观上让它主导训练。

第二是梯度被压过。共享层收到的梯度是各任务梯度的加权和。某个任务权重太小,它的梯度就会被别的任务压过去,参数朝着别的任务最优的方向跑,这个任务轻则不收敛,重则退化成输出常数,也就是俗称的“学废了”。这时候总 loss 看着挺漂亮,因为主要任务在降。

几种常见做法:

做法思路代价
手工权重先定一组权重,再根据验证集指标微调最常用,也最难把握;换数据集往往要重调
不确定性加权给每个任务学一个不确定度参数,自动缩放多一组参数,训练初期不稳定
梯度归一化按各任务梯度范数调整权重,让各任务梯度范数量级接近实现复杂,多一次反传开销

和相邻概念的区别:多任务学习(multi-task learning)是训练范式,损失加权只是其中一个训练技巧;它也不改变单个 loss 的形式,只改组合方式。真正相邻的是数据配比:一个在损失层面调,一个在采样层面调,常常是同一个问题的两种解法。

实际意义:训练时别只盯总 loss,一定要分开看每个任务的指标;总 loss 在降而某个任务的指标不动,多半是它被压过去了。日常管理同理:KPI 的权重就是损失权重,权重定错,团队会精准地只做那一件事。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。