一句话定义
汉斯小马效应（Clever Hans Effect）指的是：一个系统在测试里表现出色，靠的不是真正掌握了任务，而是无意中读懂了题目、数据或评测者释放的暗示。
那匹马的故事
20 世纪初，一匹名叫汉斯的马被主人宣称会做算术。你问它 3 加 4 等于几，它就用蹄子敲七下。观众惊叹。后来心理学家普冯斯特（Oskar Pfungst）做了系统检验：如果提问者自己也不知道答案，或者提问者站在马看不见的地方，汉斯就答不对了。真正发生的事是——提问者心里想着答案，身体会不自觉地紧张、屏息，等马敲到正确次数时又不由自主地放松。汉斯读的不是算术，是人的姿态。
模型版的“敲蹄子”
今天的模型也常常在“敲蹄子”。常见的线索来源有几类：
- 题面伪影：正确答案往往是最长、最详细的那个选项，模型于是学会“选最长”。
- 答案分布：某个基准的答案总是集中在少数几个标签上，模型靠猜分布就能拿到不低的分数。
- 数据泄漏：测试集本身或它的改写版出现在训练数据里，模型见过答案。
- 评测者线索：人工打分时，标注者的语气、期待、疲劳程度都会渗进结果。
- 格式与关键词：prompt 里已经出现了答案词，或者问题句式固定到可以套模板。
这些情况下模型并没有“会”，它只是把评测场景中的相关性当成了规律。
| 概念 | 核心问题 |
|---|---|
| 汉斯小马效应 | 评测现场的暗示被利用了 |
| 过拟合 | 在训练分布上太好，换数据就崩 |
| 数据泄漏 | 测试数据进了训练集 |
| 捷径学习 | 学到了非因果的浅层特征 |
| 奖励黑客 | 优化了代理指标而非真实目标 |
它们经常同时出现，区别在于“线索”来自哪里：是环境给的、数据给的，还是目标函数给的。
对从业者和普通人的意义
对做模型的人：分数只是信号，不是结论。看错误样本比看总分更有信息量；做基准时要有对抗性检查，把答案分布打散、换措辞、留出模型从没见过的新题；别拿测试集反复调参，直到把它刷成训练集。具体的榜单和评测协议以官方页面为准。
对普通职场人：这个效应不只属于模型。客服满意度打分会诱导员工引导用户打高分，销售额目标会诱导挑好做的客户，KPI 会诱导做“看起来像在工作”的事。指标一旦被当作目标，就会被人和模型同时“读题”。
所以下次看到“某模型在某某基准上接近人类水平”，先别急着信。多问一句：出题的人，有没有不小心低头？