跳到主内容
快讯直播
AI智模界
AI 词典

GSM8K:大模型的小学数学应用题考试

一句话定义:GSM8K(Grade School Math 8K)是一套约八千道的小学数学应用题数据集,用来检验大模型能不能像小学生那样,读懂题目、分几步把答案算出来。

名字拆开看,GSM 是 Grade School Math,8K 指"约八千道"。每道题都是一小段文字,比如"商店上午卖出一些,下午又卖出一些,问一共多少",最终答案是一个数字。它和普通算术题最大的差别在于:很少有能一步算完的题,通常要两到八步,而且每一步都得先理解题意才能列式。另一个关键设计是,每道题的参考答案不只给最终数字,还写了一段自然语言的推理步骤,最后才落到答案上——这让它天然适合训练和评测"思维链"(AI 词典:Chain-of-Thought">Chain-of-Thought, CoT)这类让模型把中间过程写出来的方法。

打个比方:普通算术题像让你按计算器,GSM8K 像考卷最后那道应用题。计算器再快,也得先有人把式子列对。

和相邻概念的区别

概念主要考什么形式
GSM8K多步推理+基础算术小学文字应用题,答案唯一
纯算术基准单步计算直接给算式,几乎不考阅读理解
MMLU 类知识基准知道多少事实与常识选择题
MATH 等进阶基准更强的符号推理初中以上乃至竞赛级数学

一句话概括:MMLU 偏"知不知道",GSM8K 偏"会不会一步一步推下去"。

对从业者和普通人的意义

对做模型的人,GSM8K 长期是检验推理能力的第一道门槛。换提示词、加思维链、做蒸馏或强化学习,通常先看它有没有变好。但有两个坑要留意。一是它现在对强模型来说偏简单,容易出现"大家都接近满分、拉不开差距"的天花板效应,单独看这一项不如看它和更难基准的组合。二是这批题在网上流传很广,存在训练数据里见过的风险,分数只能当参考,具体评测口径和榜单以官方页面为准。

对普通职场人,它给的是一个实用提醒:模型算错,往往不是算术不行,而是没把步骤拆对。所以让它"先列步骤、再给答案",通常比直接追问结果更有效。反过来,看到某款模型宣称数学能力强,也可以先拿几道多步应用题试试,看它是真会推,还是只是背过答案。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。