一篇题为《Using LLM for confidence scoring is a bad idea》的博客文章提出，让大语言模型为自己的输出给出置信度分数并不是可靠做法。文章发布于作者的个人博客，原文可通过文末链接查看。
这一话题对 AI 工程实践有直接意义。在实际系统里，"让模型顺便说一下有多大把握"是一种成本很低的做法，常被用于结果路由、低置信度转人工、拒答策略、检索与工具调用的门控，以及 Agent 流程中决定是否继续下一步。一旦这个信号本身不可信，依赖它的上层逻辑就会在无提示的情况下失效：要么大量正确结果被误判为不可靠而被丢弃，要么错误结果被高置信度放行。
文章标题所针对的正是这种把模型自报置信度直接当作可靠性指标的习惯。从工程角度看，问题的根源在于：模型生成的"置信度"本质上仍是一段文本输出，它与答案是否正确之间没有必然联系；模型在表达上的笃定程度，也不等于其在实际分布上的准确率。要获得可用的可靠性估计，通常需要外部手段，例如在带标注的校准集上做校准、引入独立验证器或规则校验、用多次采样的一致性作为间接信号，或直接以业务侧的可观测指标评估。
对正在搭建 LLM 应用的团队而言，这篇文章的价值在于提醒：置信度不是模型的一个免费附赠字段，而是一个需要单独设计与验证的组件。把自报置信度当作监控与兜底机制的核心，可能在最需要它的时候给出错误的安全感。具体论证与示例请参见原文。