跳到主内容
快讯直播
AI智模界
AI 词典

Logit Softcap:给模型的原始分数装个限幅器

一句话定义:Logit Softcap(对数几率软上限)是一种给模型输出的原始分数(logit)加“软天花板”的手段:用 tanh 这类饱和函数把个别爆表的分数平滑压回某个上限附近,而正常范围内的分数几乎不受影响。

原理:像音频限幅器

语言模型在挑下一个词时,会先给每个候选 token 打一个未归一化的实数分,这个分就叫 logit,再用 softmax 换算成概率。问题出在 exp 上:它增长极快。只要某个 logit 比同伴高出太多,它的概率就会贴近 1,其余全贴近 0,这相当于模型“斩钉截铁”地只剩一个选择,梯度也几乎消失。训练中偶尔会冒出这种异常大的值,轻则数值精度吃紧(低精度下容易上溢或丢精度),重则让注意力分数极端化,生成时陷入反复重复同一句的死循环。

Softcap 的做法很克制:把每个 logit 过一个 c · tanh(z / c),其中 c 是上限。当 z 远小于 c 时,tanh 近似线性,输出几乎等于输入,等于没动;当 z 远大于 c 时,输出趋近 ±c,再大也大不上去。它像录音棚里的限幅器:正常音量的细节原样保留,突然爆掉的峰值被压住,而不是把整段录音调小。更妙的是它处处光滑可导,不像硬截断那样在阈值处留一个折点。

和相邻概念的区别

手段做法特点
硬截断(clamp)超过阈值直接压平有折点,超限部分梯度为 0
Softcaptanh 平滑饱和处处可导,小值近似不变
温度(temperature)所有 logit 除以常数 T线性缩放,大小值一起变
z-loss 正则在损失函数里惩罚大 logit靠训练目标约束,不改结构

还要注意一点:softmax 只是把分数归一化成概率,并不缩小分数之间的差距;softcap 压缩的正是这个差距,所以它能把“几乎必然”变成“很可能”。

对从业者的实际意义

在模型配置里看到 logit_softcap、attn_logit_softcap 之类的字段,就是它。用在注意力分数上时,通常在按 1/√d 缩放之后施加。几个实用提醒:值设得偏大时近似关闭;设得太小会把模型“压傻”,让它无法给出高置信判断,损害需要锐利分布的任務;训练和推理必须使用同一套设置,否则分数分布对不上,输出会明显变味。具体某个模型的默认取值,以官方页面为准。

对普通用户来说,它属于“让模型别走极端”的螺丝钉:不改变模型会什么,只让训练更稳、生成更少陷入重复。这类小设计往往是“模型为什么突然开始胡言乱语”与“为什么稳住了”之间的差别。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。