跳到主内容
快讯直播
AI智模界
AI 词典

Brier 分数:给"把握"打分

一句话定义

Brier 分数(Brier score)是衡量概率预测好坏的平均平方误差:你每次说"我认为有 70% 的可能",事后都跟结果(发生=1,没发生=0)对账,算 (预测概率 − 实际结果)²,再把所有预测求平均。取值 0 到 1,越小越好,0 表示每次都把概率说准了。

它是怎么算的

举例来说,天气预报说明天下雨概率 70%。真下雨了,得 (0.7−1)² = 0.09;没下雨,得 (0.7−0)² = 0.49。把所有日子的分数平均起来,就是这个预报员的 Brier 分数。

打个比方:像打靶,靶心是"真相"。你报 90% 却错了,相当于瞄偏还开高倍镜,罚得很重(0.81);总是说"50% 吧"的人,每次固定得 0.25,看起来不犯大错,其实等于什么都没说。Brier 分数同时惩罚两件事:说错方向,和说过头。

与相邻概念的区别

指标关注什么对"过度自信"的惩罚
准确率(accuracy)只数对错,0.51 和 0.99 一视同仁没有
Brier 分数概率与结果的平方差有,按平方放大
对数损失(log loss)给正确类别的概率极重,错得自信时趋于无穷

还要和校准(calibration)区分:校准只问"你说 70% 的那批事,是不是真的发生了约七成",不管你有没有分辨力。Brier 分数把校准和分辨力(discrimination)合成一个数,所以它能一眼看出"排序对、但概率虚高"的模型。

对从业者和普通人的意义

做模型的人:风控评分、医疗预警、推荐系统的点击率预估(CTR)、大模型的置信度输出,都在给概率。只看 AUC 或准确率,会漏掉"概率不可信"这个毛病;上线前做概率校准(如 Platt scaling、isotonic regression),Brier 分数通常会下降。比较两版模型时,它是一个便宜又诚实的裁判。

不做模型的人:可以拿它给自己记账。常把"我确定"挂在嘴边而屡屡失手的人,分数很难看;永远说"可能吧"的人,分数平庸;真正厉害的是该自信时自信、该含糊时含糊。

一句提醒:Brier 分数受事件基础发生率影响,跨数据集比较要谨慎;多分类任务用其推广形式,对每个类别算完再平均。具体实现细节以所用库的官方文档为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。