一句话定义：GPQA（Graduate-Level Google-Proof Q&A）是一套研究生水平的自然科学四选一问答基准，出题时就要求“上网也搜不到答案”，用来测试模型的专家级推理，而不是检索能力。
它是怎么造出来的
出题人是一批物理、化学、生物等领域的博士级研究者，他们按“研究生水平、需要多步推导”的标准写题；之后再由另一批同水平专家交叉审核、投票，剔除有歧义、有争议、或者靠常识就能蒙对的题目。每道题都是四选一，干扰项被刻意设计成“看起来也很合理”的样子，往往对应一条常见的错误推导路径。
「Google-Proof」是它最核心的设计约束。出题人被要求写那种“即使把卷子交给一个聪明但外行的成年人，还给他一台能上网的电脑，他依然答不出来”的题。在论文的验证实验里，非专家即使能自由搜索，正确率也只比随机瞎猜高一点点；而领域专家则明显更高。这个落差，就是“防搜索”的量化定义。它不是“网上搜不到原题”，而是“搜到了也没用”。
打个比方：这像一场开卷考试，但题目是“请推导某个只在少数实验室内部讨论过的结论”，你把书翻烂也找不到答案，必须自己一步步算。后来更常被引用的是子集 GPQA Diamond，题目更干净、区分度更高，很多榜单说的“GPQA”其实指的是它。
和相邻概念的区别
| 基准 | 主要考什么 | 难度定位 | 抗搜索能力 |
|---|---|---|---|
| MMLU | 通识广度，覆盖几十个学科 | 本科通识 | 弱 |
| GPQA | 自然科学深度推理 | 研究生到博士 | 强（设计目标） |
| AIME | 纯数学竞赛题 | 高中竞赛 | 弱（题目公开，易被背） |
| Humanity's Last Exam | 全学科极限难题 | 专家上限 | 强 |
一句话：MMLU 考“你知道多少”，GPQA 考“你能不能想明白”，AIME 考“你算得快不快”。
对从业者和普通人的意义
对从业者：GPQA 分数常被当作“推理能力”的招牌指标，但看榜要留意两件事。一是污染，题库公开在数据集平台上，很可能已经进入训练语料，模型“背题”比“推理”省力得多，因此要看评测方有没有做去污染（decontamination）说明。二是样本量小，题目数量只有几百道，几个百分点的差距很可能只是噪声，别把小数点后的排名当回事。具体版本、题目数量与划分，以官方数据集页面为准。
对普通人：它是一把“专家标尺”。模型在这上面逼近或超过人类专家，说明它在有标准答案的硬科学问题上确实很强；但这不等于它会做研究、会提出好问题，也不等于在没有选项时能给出正确答案——四选一本身就是一层脚手架。所以 GPQA 更像一场专家级的闭卷小测，而不是科研能力认证。