跳到主内容
快讯直播
AI智模界
AI 词典

温度=0 不等于确定性:为什么同一个问题会给出不同答案

一句话定义:把 temperature(温度)设成 0,只表示模型每一步都挑概率最高的 token(词元),并不保证同一个问题两次运行给出完全相同的答案。

“挑最高分”为什么还会变

生成是一步一步来的:每步对整张词表算出一组分数(logits),经 softmax 变成概率,再按温度调整。温度是个除数,温度越低,分布越尖锐;降到 0 相当于取 argmax,也就是直接选分数最高的那个。到这一步,逻辑上确实确定。

问题在于“最高分是多少”本身算不准。推理是海量浮点乘加,而浮点加法不满足结合律:(a+b)+c 和 a+(b+c) 的末位可能不同。GPU 上成千上万核心并行做归约求和,先后顺序并不固定;服务端为了吞吐会把你的请求和别人的请求打包成一个 batch(批处理),batch 大小一变,切分方式和底层 kernel 就跟着变,求和顺序也变;换卡、换驱动、换推理框架、改并行度,数值又会有微小差异。

平时这点差异(小数点后七八位)无所谓,但要命的是两个候选 token 概率极近时——0.50000001 对 0.49999999——末位抖一下,argmax 就翻到另一个词上。而生成是自回归的:第一个词变了,后面的上下文全跟着变,最终答案可能差很远。

打个比方:两名选手跑出 9.5800001 秒和 9.5800002 秒,冠军取决于计时器怎么截断,换块表就换人;而且这是接力赛,第一棒换了人,后面每一棒都得换。

容易混淆的地方

温度、top-p、top-k 都是采样(sampling)策略参数,调它们只改变“从什么分布里挑”,不解决可复现性。设随机种子(seed)也常被误解:温度 0 通常根本不走随机采样,seed 没有东西可固定。

变化项输出会变吗原因
温度 0.7 → 0会,明显更保守分布形状变了
只改随机种子温度 0 时基本无关不再抽样
batch 大小可能变求和顺序不同
换 GPU / 框架 / 并行度可能变浮点实现不同
同机同配置重跑通常一致但并非数学保证

对实际工作的意义

  • 评测和回归测试别用逐字比对,改用语义判定、关键字段断言,或跑多次看稳定性。“两次输出不同”不等于模型被改过。
  • 需要严格一致的场景(审计留痕、缓存、单测快照、离线重跑):固定硬件与 batch 配置、开启框架的确定性模式,或者干脆把首次结果缓存下来复用。具体开关名称与行为以官方文档为准。
  • 别把温度 0 当成“事实可靠”的开关。它只保证输出更保守,不保证正确,幻觉照旧。
  • 对业务方的话术:同一个问题问两次答案略有出入是正常现象,不代表系统故障。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。