跳到主内容
快讯直播
AI智模界
AI 词典

对数概率偏置:给指定词加分或拉黑

一句话说清:对数概率偏置(Logit Bias)是在模型挑下一个字之前的最后一刻,手动给词表里某些 token 加几分或扣几分,让它们更容易、或几乎不可能被选中。

它插在哪一步

大模型生成每个 token 时,会先给词表里所有候选打一个原始分,这个分数叫 logit。分数接着经过 softmax 变成概率,再按概率采样出最终结果。logit bias 就作用在"打完分"和"变成概率"之间——你直接往某个 token 的分数上加一个值:正数等于给它塞选票,负数等于扣票,扣到足够大就近似封杀。

打个比方:公司年会抽奖,每人手里有基础票数。你可以偷偷给某位同事加一百票,也可以把某人的票全没收。但你不是直接指定中奖人——除非加的票多到压过所有人,否则只是"提高命中率"。

和相邻手段的区别

手段作用位置作用方式典型用途
Logit Bias打分后、采样前定向加减某个 token强制格式、屏蔽词
AI 词典:Temperature">Temperature采样前所有 token 统一缩放调随机性
Top-k / Top-p采样前动态砍候选池控多样性
提示词输入端间接影响引导风格与内容
微调权重层改变模型本身学新能力

关键差别:temperature 是把所有人的分数一起除以同一个数,改变整体陡峭程度,不会专门照顾谁;top-p 是砍掉长尾候选;而 logit bias 是点名式的,指哪打哪。

实际怎么用

  • 结构化输出:强制第一个 token 是 {,或把分类结果锁在几个标签里。
  • 合规屏蔽:给脏话、竞品名、内部禁词一个很大的负偏置,基本就不会冒出来。
  • 纠错:模型总把某产品名写成错别字,可以给正确写法加偏置。
  • 稳定格式:日期、布尔值、枚举参数只允许特定写法。

三个坑

第一,token 不等于词。一个中文词可能被切成两三个 token,只偏置其中一个是拦不住的,得覆盖所有切分形态。

第二,偏置过头会伤流畅度,模型被逼着用某个词,句子可能变得生硬甚至重复。

第三,它只能从模型本来认识的候选里挑,改变不了模型的知识边界——不会的东西加多少分也变不出来。

各家平台的参数名、取值区间和写法并不统一,有的用 token 字符串,有的用 token id,具体以官方文档为准。

对从业者来说,这是最轻量的生成控制手段之一,适合当"最后一道微调";对普通用户来说,它解释了为什么同一个问题,在某些产品里输出总被"掰"向某几个固定词。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。