Sakana AI 公开了一项名为 Augmented Lagrangian Predictive Coding(增强拉格朗日预测编码)的研究工作,并将其明确放在“反向传播替代方案”的位置上。论文已上传至 arXiv,配套代码在 GitHub 同步开源,便于研究者复现与验证。
从标题与方法命名看,该工作把预测编码(predictive coding)与增广拉格朗日方法结合起来。预测编码是一类源自计算神经科学的能量最小化学习框架,其核心思路是通过局部误差信号驱动网络状态与参数的更新,而非依赖反向传播式的全局梯度回传,因此长期被视为最有希望挑战反向传播的候选路径之一。
这一方向之所以值得 AI 从业者关注,原因在于:反向传播是当前深度学习的训练基石,但其生物合理性长期受到质疑,同时在内存占用、层间同步与并行效率上也给大规模训练带来实际约束。任何在数值稳定性与收敛性上站得住脚的替代训练范式,都可能影响未来模型训练的工程形态。不过,该研究的具体性能表现、可扩展性以及相对反向传播的实测差异,仍需以论文原文与开源代码为准。
对希望跟进的研究者与工程师而言,可从两个入口获取细节:论文见 arxiv.org/abs/2605.31022,代码与实现见 github.com/SakanaAI/pc-alm。建议重点关注其能量函数的构造方式、约束项在训练中的处理,以及在小规模任务上与梯度反传的对照结果。
