一句话定义
SCI-AGENT-EXAM 是一个面向科研智能体（scientific research agent）的评测基准（benchmark），它把“做一项研究”拆成文献调研、实验设计、执行与结果分析、结论可复现等环节逐段打分，而不是只看最后交上来的那个答案。
为什么需要它：答案对了，不代表过程是对的
传统基准大多是“题目—答案”对：模型输出和标准答案一致就给分。这套办法在数学题、选择题上很好用，但放到科研场景就显得不匹配——真实研究问题常常没有唯一答案，重要的是过程能不能被检验。
打个比方：这更像驾考而不是笔试。笔试只考你知道不知道“红灯停”，驾考要看你上车后有没有系安全带、变道有没有打灯、倒库压没压线。SCI-AGENT-EXAM 对科研智能体做的就是类似的事：看它有没有真的读完文献、实验设计能不能排除其他解释、结论换个随机种子还在不在。
它大致盯着哪几件事
- 文献调研：引用的文献是否真实存在、是否被正确理解。编造引用（hallucinated citation）是科研智能体最典型的“作弊”方式，也是这类基准重点要抓的。
- 实验设计：假设是否可证伪，对照实验与消融（ablation）是否合理，样本量和统计检验是否匹配得上要下的结论。
- 执行与记录：代码、数据、中间结果有没有留下痕迹，别人能不能顺着记录重跑一遍。这就是常说的可复现性（reproducibility）。
- 结论一致性：同一个智能体多跑几次，结论是否自洽；把结论交给独立评审者按记录重做，能不能复现。
- 报告写作：每一条 claim 是否都有对应证据，而不是“结论先行、证据后补”。
和相邻概念的区别
| 维度 | 传统问答基准 | 单点能力基准（如代码题） | SCI-AGENT-EXAM 这类全流程基准 |
|---|---|---|---|
| 打分对象 | 最终答案 | 某个子技能 | 过程、产物与可复现性 |
| 答案是否唯一 | 通常唯一 | 通常唯一 | 常常不唯一，看证据链 |
| 作弊空间 | 背题、猜 | 过拟合测试集 | 编造引用、跳过实验会被暴露 |
| 失败诊断 | 对或错 | 分数高低 | 能定位到具体哪个环节崩了 |
对从业者和普通人的意义
对做智能体的团队来说，这类基准改变了优化目标：从“把答案调对”转向“把过程做扎实”。这意味着要给智能体配上检索工具、代码执行沙箱（sandbox）、实验记录（provenance）机制——基础设施不到位，光靠提示词是补不出来的。
对不写代码的人来说，这套思路同样可以借用：评估一个 AI 助手时，别只看它给的结论像不像那么回事，要看它能不能交出可核对的中间过程——文献出处在哪、数据从哪来、换个条件结论还成不成立。
需要说明的是，这类基准的具体任务构成、评分细则与榜单结果会随版本变化，以官方页面和原始论文为准。