一句话定义:证明泔水(Proof Slop)指由大语言模型批量生成的数学证明文本——格式工整、术语齐全、读起来像模像样,却经不起逐行检查,也无法被机器验证。
为什么会冒出来
大语言模型(Large Language Model, LLM)的训练目标是预测下一个 token,也就是让输出在统计上“像”人写的证明,而不是在逻辑上“是”证明。这两件事平时大致重合,到了数学里刚好分道扬镳:证明的价值全在每一步是否被允许,而“像证明”只要求符号,以及“显然”“不妨设”“由对称性可知”这些连接词出现在对的位置。
打个比方,这就像一份装修报价单:格式规范、项目齐全、单价和数量列得整整齐齐,但工程量算错了一处。你扫一眼觉得专业,照着施工就出事。麻烦在于,数学证明这份报价单常常有二十页。
常见破绽:引用一个不存在的定理、把特例当成通例、用“显然”跳过真正的难点、“不妨设”把一般情形偷偷设掉、符号前后不一致、结论悄悄出现在第二步。
为什么不好发现
验证成本不对称。生成二十页证明近乎免费;认真验证它,要一位受过训练的读者花上几天,而同行评审(peer review)本就是自愿、无偿、时间有限的活动,预印本平台(preprint server)大多只做最低限度的筛查。于是泔水先落地,验证往后排,引用不等人。
更麻烦的是闭环:这些文本进入公开网页,被爬进下一轮训练语料,成为模型“数学直觉”的一部分。错误就不再属于某一篇论文,而变成分布的偏移——这是模型自噬(model collapse)在数学领域的一个切片。
和相邻概念的区别
| 概念 | 外观 | 主要风险 |
|---|---|---|
| 人类笔误 | 局部出错,通常前后不自洽 | 单点错误,容易定位 |
| 论文工厂(paper mill) | 模板化、数据可疑 | 学术评价失真 |
| 幻觉(hallucination) | 常常一眼就可疑 | 单条信息不可信 |
| 证明泔水 | 工整、连贯、显得很专业 | 污染预印本、评审与语料 |
关键差别在外观:普通幻觉往往一眼可疑,Proof Slop 的卖点恰恰是“看不出问题”。它也不等于形式化证明——用 Lean、Coq 这类证明助手(proof assistant)逐行机检过的文本不在此列,因为机器不认“显然”。
对从业者和普通人的意义
给研究者:把“AI 帮我写”和“AI 帮我证”分开管理;关键引理必须能指到可核对的出处,或者能够独立复现;重要结论尽量落到可机检的形式化脚本或可执行的数值证书上。评审时优先抽查中段引理,而不是重读引言——破绽总在链条中间。
对普通职场人,这是一条通用的检查方法:任何“格式完美、链条很长、每一环都无法独立验证”的产出都值得警惕,合规意见、尽调报告、财务模型都有各自的 Proof Slop。三个低成本动作:抽中间一环问依据、换一套记号让对方重述、追问边界情形。
可读性不等于可靠性;越是看起来不用检查的东西,越要检查。
