跳到主内容
快讯直播
AI智模界
AI 词典

ELBO:生成模型一直在最大化的那个下界

一句话:ELBO(Evidence Lower Bound,证据下界)是变分推断里,用来替代难算的边际似然 log p(x) 的一个可计算下界;最大化它,等于一边让模型更好地解释数据,一边让近似后验更接近真实后验。

先看它“下界”谁。生成模型常想最大化数据出现的概率,也就是证据 log p(x)。但 p(x)=∫p(x|z)p(z)dz 往往算不动。于是引入一个近似后验 q(z|x),构造出:

ELBO = E_q[log p(x|z)] - KL(q(z|x)||p(z))

它一定满足 ELBO ≤ log p(x),差距正好是 KL(q(z|x)||p(z|x))。所以 ELBO 下界的是“证据”,即数据似然、边际似然。最大化 ELBO,一方面抬高这个下界,另一方面让 q 更接近真实后验;当下界足够紧,就近似最大化了 log p(x)。

打个比方:你想知道一家餐厅的真实口碑 log p(x),但不可能问遍所有顾客。你找一批抽样食客 q(z|x) 做调查,ELBO 就是根据这批样本算出的“至少不会低于”的口碑分。样本越有代表性,这个下界越接近真实口碑。最大化它,就是让样本更 representative,也让餐厅实际表现更好。

概念角色关系
log p(x) 证据真正想最大化的目标通常难算
ELBO可计算下界≤ log p(x)
q(zx) 近似后验替代真实后验越准,下界越紧
KL(qp(zx))下界与证据的差距log p(x)-ELBO

和相邻概念的区别:最大似然(MLE)直接最大化 log p(x),ELBO 是它的可算代理;EM 算法在 E 步算后验、M 步最大化期望,变分 EM 用 q 近似后验,目标就是 ELBO;KL 散度常作为 ELBO 里的正则项出现,但 KL 是工具,ELBO 是整体优化目标。

对从业者,VAE、变分推断、扩散模型的变分视角里,训练损失常写成“负 ELBO”。看懂它,就知道重构项和 KL 项在拉扯什么:重构项让解码器还原数据,KL 项约束隐变量别跑偏。对普通人,推荐、生成图像文本、异常检测背后常有隐变量模型;ELBO 是把“算不出的概率目标”变成“能优化的目标”的一座桥。具体公式符号与实现细节,以教材或官方文档为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。