跳到主内容
快讯直播
AI智模界
AI 词典

经验风险最小化(ERM):训练到底在最小化什么

一句话定义:经验风险最小化(Empirical Risk Minimization,ERM)是指——我们永远拿不到数据的真实分布,于是把「训练集上的平均损失」当作真实风险的替身,然后调整模型参数,让这个平均值尽可能小。几乎所有监督学习训练过程,本质都是这一件事的不同包装。

展开讲讲

设模型的损失函数是 loss(预测, 真值)。我们真正想要最小化的是真实风险:模型在整个数据分布上的平均损失,也就是它上线后面对所有可能输入时的平均表现。问题是这个分布我们看不见,只能看见手上那批训练样本。于是退一步,用经验风险近似:

> 经验风险 = 训练集上每条样本损失的算术平均

训练时反传的梯度、打印出来的 loss 曲线,全是这个经验风险。换成生活场景:想知道全国职场人的平均通勤时间(真实风险),你没法人人问到,只能抽样几百人算出样本均值(经验风险)。样本均值是个估计,样本越小、抽样越偏,它离真实值就越远。

关键点在于:我们能优化的只有经验风险,我们真正在乎的却是真实风险。所以 ERM 的全部张力,都落在「这两个数差多远」上。

和相邻概念的区别

概念关注点
经验风险训练集上的平均损失,每一步都能算出来
真实风险(泛化误差)全分布上的期望损失,只能估计、无法直接计算
结构风险最小化(SRM)ERM 再加一个模型复杂度惩罚项,即「ERM + 正则化」
AI 词典:最大似然估计">最大似然估计(MLE)在常见设定下与 ERM 同源:取负对数似然当损失,最小化它就是做极大似然

还要区分 ERM 和过拟合:过拟合不是 ERM 做错了,而是 ERM 做得太成功——模型容量足够大时,经验风险可以被压到极低,但它记住的是这批样本的噪声,真实风险反而升高。反过来,模型太弱则两个风险都高。所以 ERM 本身不保证泛化,它只是把「学习」变成了一个可计算的优化问题。

对从业者的实际意义

第一,诊断时把两件事分开看。训练损失降不下去,通常是优化问题(学习率、初始化、梯度异常、代码有 bug);训练损失很低但验证损失高,是泛化问题(数据太少、模型太大、缺少正则、分布不一致)。用错药方很常见——明明是泛化问题却拼命调学习率。

第二,工程手段大多是为了缩小那两个数的差距:增加数据、数据增强、权重衰减、Dropout、早停、交叉验证选超参,都是在给经验风险「去偏」。学习理论里的泛化界、正则化理论,研究的也是这个差距能有多小。

第三,对非算法岗位同样适用:你的 KPI 就是经验风险,业务真实收益才是真实风险。指标一旦和真实目标脱节,团队会极其高效地优化出一个漂亮但没用的数字。设计指标时先问一句:这个平均值,离我们真正想要的东西有多远?

(各类框架的默认损失与正则选项以官方文档为准。)

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。