一句话定义:GSM8K(Grade School Math 8K)是一套约八千道的小学数学应用题数据集,用来检验大模型能不能像小学生那样,读懂题目、分几步把答案算出来。
名字拆开看,GSM 是 Grade School Math,8K 指"约八千道"。每道题都是一小段文字,比如"商店上午卖出一些,下午又卖出一些,问一共多少",最终答案是一个数字。它和普通算术题最大的差别在于:很少有能一步算完的题,通常要两到八步,而且每一步都得先理解题意才能列式。另一个关键设计是,每道题的参考答案不只给最终数字,还写了一段自然语言的推理步骤,最后才落到答案上——这让它天然适合训练和评测"思维链"(AI 词典:Chain-of-Thought">Chain-of-Thought, CoT)这类让模型把中间过程写出来的方法。
打个比方:普通算术题像让你按计算器,GSM8K 像考卷最后那道应用题。计算器再快,也得先有人把式子列对。
和相邻概念的区别
| 概念 | 主要考什么 | 形式 |
|---|---|---|
| GSM8K | 多步推理+基础算术 | 小学文字应用题,答案唯一 |
| 纯算术基准 | 单步计算 | 直接给算式,几乎不考阅读理解 |
| MMLU 类知识基准 | 知道多少事实与常识 | 选择题 |
| MATH 等进阶基准 | 更强的符号推理 | 初中以上乃至竞赛级数学 |
一句话概括:MMLU 偏"知不知道",GSM8K 偏"会不会一步一步推下去"。
对从业者和普通人的意义
对做模型的人,GSM8K 长期是检验推理能力的第一道门槛。换提示词、加思维链、做蒸馏或强化学习,通常先看它有没有变好。但有两个坑要留意。一是它现在对强模型来说偏简单,容易出现"大家都接近满分、拉不开差距"的天花板效应,单独看这一项不如看它和更难基准的组合。二是这批题在网上流传很广,存在训练数据里见过的风险,分数只能当参考,具体评测口径和榜单以官方页面为准。
对普通职场人,它给的是一个实用提醒:模型算错,往往不是算术不行,而是没把步骤拆对。所以让它"先列步骤、再给答案",通常比直接追问结果更有效。反过来,看到某款模型宣称数学能力强,也可以先拿几道多步应用题试试,看它是真会推,还是只是背过答案。
