跳到主内容
快讯直播
AI智模界
AI 词典

信念传播:让图上的节点互相递纸条

一句话定义:信念传播(Belief Propagation,简称 BP)是一类在图模型上做概率推理的算法:让图中的节点沿着边反复传递“消息”,用局部信息的交换逐步算出每个变量的边缘概率(marginal probability),也就是在已知全部证据的条件下,某个变量取各个值分别有多大可能。

它要解决什么问题

现实中的概率问题往往变量很多,而且相互牵连:一张图里每个像素的亮度、一段语音里每一帧对应哪个音素、一个通信码字里每一位是 0 还是 1。把所有变量写成一个联合分布(joint distribution),规模会呈指数级增长,直接计算不现实。

图模型的做法是把这个大分布拆成一堆局部因子的乘积:每个因子只关心少数几个变量之间的约束关系。于是,整个推理问题变成了一张图,图上每个节点只掌握局部信息,但如果配合得当,它们就能拼出全局答案。

原理:递纸条的比方

设想村里要统计一件事,但每家只能看到自家门口的情况。办法是让每户把“我这边倾向于什么”写成纸条递给邻居,邻居把自己看到的与收到的纸条综合起来,再写新的纸条传下去。传几轮之后,各家对整体形势的判断就会趋于一致。

BP 就是这样:消息本身是一个向量,表示“我认为这个变量取各个值分别有多可能”。变量节点收到来自各个因子的消息后相乘,相当于把多路证据合并;因子节点则把其他变量求和掉,只留下对目标变量的影响,这就是“和-积”(sum-product)规则。在树结构的图上,消息从叶子传到根再传回来,两轮就能得到精确结果,这是 BP 最漂亮的性质。

麻烦在于现实中的图常有环。环路会让同一条信息绕回来被重复计算,此时用的是“有环 BP”(loopy BP):不管精确性,反复迭代直到消息基本不变为止。它不保证收敛,也不保证结果精确,但在编码、视觉等大量实际问题上表现相当好。

信念传播变分推断MCMC 采样
结果性质树上精确,有环时为近似近似,通常有系统偏差样本足够多时渐近精确
计算方式沿边迭代传消息优化一个替代分布反复随机采样
速度每轮很便宜,通常较快中等,取决于变分族设计通常最慢
适合场景稀疏图、树、树宽较小大模型、复杂后验小规模问题、验证近似结果

从业者为什么还该知道它

在通信领域,LDPC 码和 Turbo 码的译码器本质上就是在跑 BP,手机和硬盘能可靠读写数据,背后有它的功劳;在计算机视觉里,立体匹配、图像去噪常用它;在概率编程和贝叶斯网络工具里,它是默认的推理引擎之一。

更长远的影响在思路上:“节点持有局部状态、沿边传消息、迭代收敛”这个范式,后来被图神经网络(Graph Neural Network)等模型广泛借用,也是很多结构化预测系统的共同骨架。理解 BP,等于理解了一大类分布式推理算法的原型。具体实现的细节与性能,以各框架的官方文档为准。

对普通职场人来说,它的启示更朴素:当一个复杂判断被拆给多方时,让每一方把自己掌握的部分以统一格式说清楚、反复交换,往往比让某一方强行汇总全部信息更可行。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。